CN110992296B - 睑板腺图像增强方法 - Google Patents
睑板腺图像增强方法 Download PDFInfo
- Publication number
- CN110992296B CN110992296B CN202010144069.7A CN202010144069A CN110992296B CN 110992296 B CN110992296 B CN 110992296B CN 202010144069 A CN202010144069 A CN 202010144069A CN 110992296 B CN110992296 B CN 110992296B
- Authority
- CN
- China
- Prior art keywords
- meibomian gland
- image
- images
- gland image
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004175 meibomian gland Anatomy 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000009467 reduction Effects 0.000 claims abstract description 39
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 238000012935 Averaging Methods 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 208000003556 Dry Eye Syndromes Diseases 0.000 description 3
- 206010013774 Dry eye Diseases 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 2
- 206010065062 Meibomian gland dysfunction Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种睑板腺图像增强方法，包含以下步骤：获取睑板腺图像；对睑板腺图像进行灰度转换；对灰度化后的睑板腺图像进行降噪处理；将降噪处理后的睑板腺图像划分为m个子图像并从m个子图像中选取包含睑板腺区域的n个有效子图像；根据n个有效子图像的灰度值的范围分别对降噪处理后的睑板腺图像进行n次灰度拉伸；对n个拉伸后的睑板腺图像取平均；对取平均后的睑板腺图像进行图像增强。本发明的睑板腺图像增强方法将睑板腺图像分割成多个子图像，从子图像中选择包含睑板腺的有效子图像，再根据有效子图像的灰度值范围对睑板腺图像进行灰度拉伸，最后对所有拉伸结果进行取平均值，能够避免全局灰度拉伸造成的拉伸效果不明显等问题。
Description
技术领域
本发明涉及一种睑板腺图像增强方法。
背景技术
睑板腺功能障碍是蒸发过强型干眼症的主要原因，是判断是否干眼的一个重要指标，其常见典型体征包括睑缘改变、睑板腺分泌异常和睑板腺缺失。通常临床上主要通过睑板腺成像技术对睑板腺结构进行观察和评估，确定睑板腺组织的缺失范围和程度。
现有方案拍摄睑板腺图像观察睑板腺的形态结构，根据扭曲度、缺失面积和根数这几个指标来判断是睑板腺是否异常。主要缺陷在于：从拍摄的睑板腺图像中很难观察到清晰的睑板腺结构，且睑板腺腺体与腺体周围的眼部组织颜色接近，无法准确标记处睑板腺腺体的边界。睑板腺拍摄时需要翻眼皮，眼皮不是一个平面结构，这会导致拍摄的图像光照不均匀，中间和两边睑板腺的焦距有差别，给图像增强带来难度。
发明内容
本发明提供了一种睑板腺图像增强方法，采用如下的技术方案：
一种睑板腺图像增强方法，包含以下步骤：
获取睑板腺图像；
对睑板腺图像进行灰度转换；
对灰度化后的睑板腺图像进行降噪处理；
将降噪处理后的睑板腺图像划分为m个子图像并从m个子图像中选取包含睑板腺区域的n个有效子图像；
根据n个有效子图像的灰度值的范围分别对降噪处理后的睑板腺图像进行n次灰度拉伸；
对n个拉伸后的睑板腺图像取平均；
对取平均后的睑板腺图像进行图像增强。
进一步地，睑板腺图像为红外图像。
进一步地，对灰度化后的睑板腺图像进行降噪处理的具体方法为：
对灰度化后的睑板腺图像进行均值滤波。
进一步地，将降噪处理后的睑板腺图像划分为m个子图像并从m个子图像中选取包含睑板腺区域的n个有效子图像的具体方法为：
将降噪处理后的睑板腺图像均分为m个子图像；
从m个子图像中选取包含睑板腺区域的n个有效子图像。
进一步地，根据n个有效子图像的灰度值的范围分别对降噪处理后的睑板腺图像进行n次灰度拉伸的具体方法为：
获取有效子图像的最大灰度值和最小灰度值；
将降噪处理后的睑板腺图像中的灰度值小于有效子图像的最小灰度值的区域的灰度值置为0；
将降噪处理后的睑板腺图像中的灰度值大于有效子图像的最大灰度值的区域的灰度值置为255；
将降噪处理后的睑板腺图像中的灰度值介于有效子图像的最大灰度值和最小灰度值范围内的区域进行灰度拉伸；
得到n个拉伸后的睑板腺图像。
进一步地，将降噪处理后的睑板腺图像中的灰度值介于有效子图像的最大灰度值和最小灰度值范围内的区域进行灰度拉伸的具体方法为；
通过伽马变换对降噪处理后的睑板腺图像进行灰度拉伸。
进一步地，伽马变换根据下述公式进行灰度变换：
其中，s为变换后的灰度值，r为变换前的灰度值，c为变换常数，γ为伽马系数，γ的取值范围为大于1。
进一步地，γ的取值范围为大于等于1.2且小于等于2。
进一步地，对取平均后的睑板腺图像进行图像增强的具体方法为：
对取平均后的睑板腺图像经过高通滤波器滤波，设定第一截止频率，得到第一高频图后将第一高频图叠加至取平均后的睑板腺图像得到第一增强图；
对第一增强图经过高通滤波器滤波，设定第二截止频率，得到第二高频图后将第二高频图叠加至取平均后的睑板腺图像得到第二增强图；
对第二增强图经过高通滤波器滤波，设定第三截止频率，得到第三高频图后将第三高频图叠加至取平均后的睑板腺图像得到增强结果图；
其中，第一截止频率小于第二截止频率，第二截止频率小于第三截止频率。
进一步地，高通滤波器为高斯高通滤波器。
本发明的有益之处在于所提供的睑板腺图像增强方法将睑板腺图像分割成多个子图像，从子图像中选择包含睑板腺的有效子图像，再根据有效子图像的灰度值范围对睑板腺图像进行灰度拉伸，最后对所有拉伸结果进行取平均值，能够避免全局灰度拉伸造成的拉伸效果不明显等问题。
附图说明
图1是本发明的睑板腺图像增强方法的示意图；
图2是对采集的睑板腺图像进行灰度化后的灰度图；
图3是对图2的灰度图进行划分的示意图；
图4是伽马变换的示意图；
图5是取平均后的睑板腺图像的示意图；
图6是最终增强后的睑板腺图像的示意图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示为一种睑板腺图像增强方法，包含以下步骤：S1:获取睑板腺图像。S2:对睑板腺图像进行灰度转换。S3:对灰度化后的睑板腺图像进行降噪处理。S4:将降噪处理后的睑板腺图像划分为m个子图像并从m个子图像中选取包含睑板腺区域的n个有效子图像。S5:根据n个有效子图像的灰度值的范围分别对降噪处理后的睑板腺图像进行n次灰度拉伸。S6:对n个拉伸后的睑板腺图像取平均。S7:对取平均后的睑板腺图像进行图像增强。将睑板腺图像分割成多个子图像，从子图像中选择包含睑板腺的有效子图像，再根据有效子图像的灰度值范围对睑板腺图像进行灰度拉伸，最后对所有拉伸结果进行取平均值，能够避免全局灰度拉伸造成的拉伸效果不明显等问题，再对取平均后的睑板腺图像进行图像增强得到最终输出结果。以下具体介绍上述步骤。
对于步骤S1:获取睑板腺图像。
具体而言，通过图像采集装置获取睑板腺图像，在本发明中，获取的睑板腺图像为红外图像。
对于步骤S2:对睑板腺图像进行灰度转换。
将获取到的睑板腺图像转换为灰度图，如图2所示。
对于步骤S3:对灰度化后的睑板腺图像进行降噪处理。
通过降噪手段对灰度化后的睑板腺图像进行降噪处理。在本发明中，对灰度化后的睑板腺图像进行均值滤波，具体的，使用5*5的模板对图像进行均值滤波去除噪声。
对于步骤S4:将降噪处理后的睑板腺图像划分为m个子图像并从m个子图像中选取包含睑板腺区域的n个有效子图像。
获取到的睑板腺图像还包含眼部其他信息，如瞳孔、眼皮和睫毛，这时候对全局图取灰度最大值和最小值作为灰度拉伸的范围，灰度值会过大和过小，导致图像灰度拉伸不够明显，无明显的对比度增强效果。如果不取最大最小值进行拉伸，固定的拉伸范围无法适用所有图像，所以必须进行自适应的灰度拉伸。
在本发明中，将经过步骤3得到的睑板腺图像划分为m个子图像，并从m个子图像中选取包含睑板腺区域的n个有效子图像。对睑板腺图像进行划分的方式可以自由选择，既可以均分成m个面积相等的子图像，也可以根据睑板腺区域的形状进行又针对性的划分。在本发明中，如图3所示，根据睑板腺区域进行划分，图像划分后，选取其中的包含睑板腺区域区块1、区块2、区块3、区块4和区块5共5个子图像作为有效子图像。
对于步骤S5:根据n个有效子图像的灰度值的范围分别对降噪处理后的睑板腺图像进行n次灰度拉伸。
在步骤S4中，得到5个有效子图像，根据该5个有效子图像的灰度值的范围分别对降噪处理后的睑板腺图像进行5次灰度拉伸。具体而言，获取其中一个有效子图像的最大灰度值和最小灰度值，将降噪处理后的睑板腺图像中的灰度值小于有效子图像的最小灰度值的区域的灰度值置为0，将降噪处理后的睑板腺图像中的灰度值大于有效子图像的最大灰度值的区域的灰度值置为255，将降噪处理后的睑板腺图像中的灰度值介于有效子图像的最大灰度值和最小灰度值范围内的区域进行灰度拉伸，经过上述步骤得到一个拉伸后的睑板腺图像，重复上述过程，通过每一个有效子区域的最大灰度值和最小灰度值对睑板腺图像进行图像拉伸，最后得到5个拉伸后的睑板腺图像。
在本发明中，因为睑板腺腺体的亮度会高于其他皮肤组织，所以主要要对亮度比较高的区域进行拉伸，使用伽马变换满足要求。根据公式（1），将降噪处理后的睑板腺图像中的灰度值介于有效子图像的最大灰度值和最小灰度值范围内的区域进行灰度拉伸，
其中，s为变换后的灰度值，r为变换前的灰度值，c为变换常数，γ为伽马系数。如图4所示，对于不同的γ值，有不同的拉伸曲线，因为需要增强亮的区域且降低暗的区域，所以选择一个大于1的γ值进行变换。进一步的，γ的取值范围为大于等于1.2且小于等于2。在本发明中，γ取值为1.5。
对于步骤S6:对n个拉伸后的睑板腺图像取平均。
对步骤S5得到的5个拉伸后的睑板腺图像进行平均，得到取平均后的睑板腺图像，如图5所示。
对于步骤S7:对取平均后的睑板腺图像进行图像增强。
在本发明中，边界信息为高频信息，对睑板腺图像进行高通滤波。
作为一种优选的实施方式，对取平均后的睑板腺图像进行图像增强的具体方法为：对取平均后的睑板腺图像经过高通滤波器滤波，设定第一截止频率，得到第一高频图后将第一高频图叠加至取平均后的睑板腺图像得到第一增强图。对第一增强图经过高通滤波器滤波，设定第二截止频率，得到第二高频图后将第二高频图叠加至取平均后的睑板腺图像得到第二增强图。对第二增强图经过高通滤波器滤波，设定第三截止频率，得到第三高频图后将第三高频图叠加至取平均后的睑板腺图像得到增强结果图。其中，第一截止频率小于第二截止频率，第二截止频率小于第三截止频率。在本发明中，高通滤波器选择高斯高通滤波器。具体而言，对取平均后的睑板腺图像进行傅里叶变换转为频域图，选择高斯高通滤波器使用第一截止频率进行滤波得到图像的高频部分，再进行傅里叶反变换转成时域信息的第一高频图，将第一高频图与取平均后的睑板腺图像相加得到第一增强图。对第一增强图进行傅里叶变换转为频域图，选择高斯高通滤波器使用第二截止频率进行滤波得到图像的高频部分，再进行傅里叶反变换转成时域信息的第二高频图，将第二高频图与第一增强图相加得到第二增强图。对第二增强图进行傅里叶变换转为频域图，选择高斯高通滤波器使用第三截止频率进行滤波得到图像的高频部分，再进行傅里叶反变换转成时域信息的第三高频图，将第三高频图与第二增强图相加得到增强结果图，该增强结果图即为最终输出结果，如图6所示。在本实施例中，第一截止频率为8Hz，第二截止频率为16Hz，第三截止频率为32Hz。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (9)
1.一种睑板腺图像增强方法，其特征在于，包含以下步骤：
获取睑板腺图像；
对所述睑板腺图像进行灰度转换；
对灰度化后的所述睑板腺图像进行降噪处理；
将降噪处理后的所述睑板腺图像划分为m个子图像并从m个所述子图像中选取包含睑板腺区域的n个有效子图像；
根据n个所述有效子图像的灰度值的范围分别对降噪处理后的所述睑板腺图像进行n次灰度拉伸；
所述根据n个所述有效子图像的灰度值的范围分别对降噪处理后的所述睑板腺图像进行n次灰度拉伸的具体方法为：
获取n个所述有效子图像中的一个的最大灰度值和最小灰度值；
将降噪处理后的所述睑板腺图像中的灰度值小于所述有效子图像的最小灰度值的区域的灰度值置为0；
将降噪处理后的所述睑板腺图像中的灰度值大于所述有效子图像的最大灰度值的区域的灰度值置为255；
将降噪处理后的所述睑板腺图像中的灰度值介于所述有效子图像的最大灰度值和最小灰度值范围内的区域进行灰度拉伸；
针对n个所述有效子图像中的其他的所述有效子图像，重复上述具体方法，得到n个拉伸后的所述睑板腺图像；
对n个拉伸后的所述睑板腺图像的灰度值取平均；
对取平均后的所述睑板腺图像进行图像增强。
2.根据权利要求1所述的睑板腺图像增强方法，其特征在于，
所述睑板腺图像为红外图像。
3.根据权利要求1所述的睑板腺图像增强方法，其特征在于，
所述对灰度化后的所述睑板腺图像进行降噪处理的具体方法为：
对灰度化后的所述睑板腺图像进行均值滤波。
4.根据权利要求1所述的睑板腺图像增强方法，其特征在于，
所述将降噪处理后的所述睑板腺图像划分为m个子图像并从m个所述子图像中选取包含睑板腺区域的n个有效子图像的具体方法为：
将降噪处理后的所述睑板腺图像均分为m个所述子图像；
从m个所述子图像中选取包含睑板腺区域的n个所述有效子图像。
5.根据权利要求1所述的睑板腺图像增强方法，其特征在于，
所述将降噪处理后的所述睑板腺图像中的灰度值介于所述有效子图像的最大灰度值和最小灰度值范围内的区域进行灰度拉伸的具体方法为；
通过伽马变换对降噪处理后的所述睑板腺图像进行灰度拉伸。
6.根据权利要求5所述的睑板腺图像增强方法，其特征在于，
所述伽马变换根据下述公式进行灰度变换：
s＝c·rγ，
其中，s为变换后的灰度值，r为变换前的灰度值，c为变换常数，γ为伽马系数，γ的取值范围为大于1。
7.根据权利要求6所述的睑板腺图像增强方法，其特征在于，
γ的取值范围为大于等于1.2且小于等于2。
8.根据权利要求1所述的睑板腺图像增强方法，其特征在于，
所述对取平均后的所述睑板腺图像进行图像增强的具体方法为：
对取平均后的所述睑板腺图像经过高通滤波器滤波，设定第一截止频率，得到第一高频图后将所述第一高频图叠加至取平均后的所述睑板腺图像得到第一增强图；
对所述第一增强图经过高通滤波器滤波，设定第二截止频率，得到第二高频图后将所述第二高频图叠加至取平均后的所述睑板腺图像得到第二增强图；
对所述第二增强图经过高通滤波器滤波，设定第三截止频率，得到第三高频图后将所述第三高频图叠加至取平均后的所述睑板腺图像得到增强结果图；
其中，所述第一截止频率小于第二截止频率，所述第二截止频率小于第三截止频率。
9.根据权利要求8所述的睑板腺图像增强方法，其特征在于，
所述高通滤波器为高斯高通滤波器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010144069.7A CN110992296B (zh) | 2020-03-04 | 2020-03-04 | 睑板腺图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010144069.7A CN110992296B (zh) | 2020-03-04 | 2020-03-04 | 睑板腺图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110992296A CN110992296A (zh) | 2020-04-10 |
| CN110992296B true CN110992296B (zh) | 2020-06-09 |
Family
ID=70081481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010144069.7A Active CN110992296B (zh) | 2020-03-04 | 2020-03-04 | 睑板腺图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110992296B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652847B (zh) * | 2020-04-30 | 2023-04-07 | 温州医科大学附属眼视光医院 | 一种基于机器视觉的睑板腺图像预处理的方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101303765B (zh) * | 2008-06-23 | 2010-06-02 | 四川虹微技术有限公司 | 一种基于图像均方差的图像对比度增强方法 |
| CN101987023B (zh) * | 2009-07-31 | 2014-05-07 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声成像增益补偿及图像优化方法及其装置和系统 |
| CN102663403B (zh) * | 2012-04-26 | 2014-04-16 | 北京工业大学 | 基于视觉的快速路智能车导航中车道信息提取系统及方法 |
| CN102800089B (zh) * | 2012-06-28 | 2015-01-28 | 华中科技大学 | 基于颈部超声图像的主颈动脉血管提取和厚度测量方法 |
| CN107610111B (zh) * | 2017-09-12 | 2019-12-10 | 武汉大学 | 一种基于深度学习的焊点图像检测方法 |
-
2020
- 2020-03-04 CN CN202010144069.7A patent/CN110992296B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110992296A (zh) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | An annotation-free restoration network for cataractous fundus images | |
| WO2013038333A2 (en) | Method and system for enhancing image quality | |
| CN106530236B (zh) | 一种医学图像处理方法及系统 | |
| CN109584198B (zh) | 一种人脸图像质量评价方法、装置及计算机可读存储介质 | |
| CN108596843B (zh) | 一种基于亮通道的水下图像色彩恢复算法 | |
| CN111696052B (zh) | 一种基于红通道衰弱的水下图像增强方法及系统 | |
| US9401009B2 (en) | Method and apparatus for enhancing quality of 3D image | |
| KR102195047B1 (ko) | 3d이미지 품질을 향상시키는 방법과 장치 | |
| CN110992296B (zh) | 睑板腺图像增强方法 | |
| CN104616259B (zh) | 一种噪声强度自适应的非局部均值图像去噪方法 | |
| CN116563398A (zh) | 一种低质量眼底彩照生成方法及装置 | |
| CN106709888A (zh) | 一种基于人眼视觉模型的高动态范围图像产生方法 | |
| CN111242876B (zh) | 低对比度图像增强方法、装置及计算机可读存储介质 | |
| Sabri et al. | Image enhancement methods for fundus retina images | |
| CN112446889A (zh) | 一种基于超声的医学视频读取方法 | |
| CN109636749B (zh) | 图像处理方法 | |
| Fang et al. | Color endoscopic image enhancement technology based on nonlinear unsharp mask and CLAHE | |
| CN111861977A (zh) | 一种基于机器视觉的眼前节断层图像的特征提取方法 | |
| Mustafa et al. | Image correction based on homomorphic filtering approaches: A study | |
| Ahmed | Image enhancement and noise removal by using new spatial filters | |
| Meng et al. | Improved multi-scale retinex algorithm for medical image enhancement | |
| Mazlan et al. | Enhancement of retinal images for microaneurysms detection in diabetic retinopathy | |
| Bilynsky et al. | Filtering methods in speckle noise reduction in biomedical images | |
| CN110852977B (zh) | 融合边缘灰度直方图与人眼视觉感知特性的图像增强方法 | |
| CN114078111A (zh) | 利用迁移学习的眼底图像质量评价装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |