CN112561872A - 一种塔式起重机的锈蚀缺陷分割方法 - Google Patents
一种塔式起重机的锈蚀缺陷分割方法 Download PDFInfo
- Publication number
- CN112561872A CN112561872A CN202011450469.7A CN202011450469A CN112561872A CN 112561872 A CN112561872 A CN 112561872A CN 202011450469 A CN202011450469 A CN 202011450469A CN 112561872 A CN112561872 A CN 112561872A
- Authority
- CN
- China
- Prior art keywords
- tower crane
- corrosion
- data set
- image
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007797 corrosion Effects 0.000 title claims abstract description 48
- 238000005260 corrosion Methods 0.000 title claims abstract description 48
- 230000007547 defect Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000011218 segmentation Effects 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 5
- 230000005284 excitation Effects 0.000 claims description 15
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims description 2
- 238000005192 partition Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种塔式起重机的锈蚀缺陷分割方法,包括以下步骤:步骤S1:采集塔式起重机锈蚀缺陷图像，并通过数据增强扩充，得到图像数据集；步骤S2:对图像数据集进行预处理，得到预处理后的图像数据集；步骤S3:基于YOLO V3，引入通道注意力机制SENet，改进残差模块，构建改进YOLO V3模型；步骤S4:根据预处理后的图像数据集训练改进YOLO V3模型；步骤S5:将待测图像输入到训练后的改进YOLO V3模型中检测，判断出塔式起重机是否存在锈蚀缺陷；步骤S6:判断出塔式起重机存在锈蚀缺陷时，采用阈值分割方法，将锈蚀区域与图像中的其他区域分割出来。本发明能够有效地检测及分割出塔式起重机的锈蚀区域，具有可行性，便于排查出塔式起重机的锈蚀缺陷隐患。
Description
技术领域
本发明涉及图像分割领域，具体涉及一种塔式起重机的锈蚀缺陷分割方法。
背景技术
塔式起重机是工地施工中频繁使用的大型设备，长期暴露于自然环境中，受风吹日晒等恶劣环境的影响，塔式起重机的钢结构容易出现氧化腐蚀，即锈蚀现象，这将会影响其强度和刚度，当锈蚀过于严重，会降低塔式起重机的工作性能，导致倒塌事故，造成恶性伤亡事故。据统计，2012—2014年间，发生了162起塔式起重机事故，其中倒塌、断裂事故占了123起，约为总事故的75.93％。塔式起重机的锈蚀程度如锈蚀面积、锈蚀率等，是判断其是否能够安全使用的一个重要指标，因此，定期对塔式起重机进行检测具有重要的意义。现有的塔式起重机定期维护方法主要依靠人工检测，不仅具有主观影响，还将耗费大量的人力、财力，并且难以保证检测的全面性和准确性。因此，需要更多的技术支持。
发明内容
有鉴于此，本发明的目的在于提供一种塔式起重机的锈蚀缺陷分割方法，能够有效地检测及分割出塔式起重机的锈蚀区域，具有可行性，便于排查出塔式起重机的锈蚀缺陷隐患。
为实现上述目的，本发明采用如下技术方案：
一种塔式起重机的锈蚀缺陷分割方法,包括以下步骤:
步骤S1:采集塔式起重机锈蚀缺陷图像，并通过数据增强扩充，得到图像数据集；
步骤S2:对图像数据集进行预处理，得到预处理后的图像数据集；
步骤S3:基于YOLO V3，引入通道注意力机制SENet，改进残差模块，构建改进YOLOV3模型；
步骤S4:根据预处理后的图像数据集训练改进YOLO V3模型；
步骤S5:将待测图像输入到训练后的改进YOLO V3模型中检测，判断出塔式起重机是否存在锈蚀缺陷；
步骤S6:判断出塔式起重机存在锈蚀缺陷时，采用阈值分割方法，将将锈蚀区域与图像中的其他区域分割出来。
进一步的，所述步骤S1具体为：
步骤S11：采集不同的光照、亮度、角度的塔式起重机锈蚀缺陷图像，构成数据集；
步骤S12：通过数据增强扩充扩充数据集；
步骤S13:采用LabelMe对锈蚀目标进行标注，得到图像数据集。
进一步的，所述数据增强扩充方法包括增加亮度、减少亮度、镜像翻转和随机平移。
进一步的，所述预处理包括去噪处理、归一化处理和直方图均衡化。
进一步的，所述通道注意力机制SENet包括压缩和激励，具体为：
首先进行压缩操作，对输入的特征图进行压缩，通过全局平均池化层，将特征图压缩成一维，得到各个通道的全局信息，如下式所示：
其中uc表示特征图，大小为W×H×C，zc表示c个长度的一维数组，为第c个通道对应的特征映射。然后对全局特征进行激励操作，通过全连接层和ReLU函数、Sigmoid激励函数自适应地建立各个通道之间的关联，将各个通道的权重归一化；如下式所示：
s＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))
其中σ表示Sigmoid激励函数，δ表示ReLU非线性函数，
表示不同的全连接层，r为缩减因子；
最后将权重s加权到各个通道的特征上，如下式所示：
其中sc表示第c个通道对应的归一化权重，
表示激励后第c个通道对应的特征图。
进一步的，所述阈值分割方法具体为:根据直方图分布设置两个阈值范围，然后根据灰级窗映射关系的处理，通过分段线性变换将锈蚀区域与图像中的其他区域分割出来，计算方法如下式所示：
其中，i＝1，2，…,m；j＝1，2，…,n；
图像的大小为m×n，fa、fb分别为设置的两个阈值，f(i,j)表示输入的图像，g(i,j)表示处理后的图像。
本发明与现有技术相比具有以下有益效果：
1、本发明能够有效去除干扰因素，避免误检现象，通过改进的YOLO V3模型，引入通道注意力机制，能够提高对塔式起重机锈蚀缺陷检测的精度，同时根据直方图进行阈值分割，能够有效地分割出锈蚀的区域；
2、本发明能够有效地检测及分割出塔式起重机的锈蚀区域，具有可行性，便于排查出塔式起重机的锈蚀缺陷隐患。
附图说明
图1是本发明一实施例中的方法流程图；
图2是本发明一实施例中的数据增强结果图；
图3是本发明一实施例中的检测结果图；
图4是本发明一实施例中的直方图；
图5是本发明一实施例中的分割结果图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种塔式起重机的锈蚀缺陷分割方法,包括以下步骤:
步骤S1:采集塔式起重机锈蚀缺陷图像，并通过数据增强扩充，得到图像数据集；
在本实施例中，通过无人机巡检拍摄采集和网上搜集获得，共获得1484张，包括不同的光照、亮度、角度等图像，具有普遍性。然后通过数据增强扩充数据集，如增加亮度、减少亮度、镜像翻转、随机平移等方法，最终一共得到7420张数据集，使用LabelMe对锈蚀目标进行标注，然后以8：2的比例划分训练和测试的数据集。数据增强结果如附图2所示。
步骤S2:对图像数据集进行预处理，得到预处理后的图像数据集；
优选的，在本实施例中，预处理包括去噪处理、归一化处理和直方图均衡化。
①去噪处理：
采用中值滤波去噪方法，模板为3*3。中值滤波是一种非线性滤波，在去除噪声的同时能够较好的保持图像边缘，中值滤波不会使图像的边缘模糊。
②归一化处理：
利用归一化方法将无人机拍摄的图像大小转换成标准模式，将数据变得有可比性，方便比较两个数据之间的相对关系。
③直方图均衡化：
采用直方图均衡化增强图像对比度，减少亮度不均对锈蚀检测造成影响，减少图像的明暗差异，防止后续提取锈蚀区域带来的误判。
步骤S3:基于YOLO V3，引入通道注意力机制SENet，改进残差模块，构建改进YOLOV3模型，提高目标定位的精度。
优选的，在本实施中，SENet的组成主要是压缩和激励。
首先进行压缩操作，对输入的特征图进行压缩，通过全局平均池化层，将特征图压缩成一维，得到各个通道的全局信息，感受区域更广。如下式所示：
其中uc表示特征图，大小为W×H×C，zc表示c个长度的一维数组，为第c个通道对应的特征映射。然后对全局特征进行激励操作，通过全连接层和ReLU函数、Sigmoid激励函数自适应地建立各个通道之间的关联，将各个通道的权重归一化。如下式所示：
s＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))
其中σ表示Sigmoid激励函数，δ表示ReLU非线性函数，
表示不同的全连接层，r为缩减因子。最后将权重s加权到各个通道的特征上，如下式所示：
其中sc表示第c个通道对应的归一化权重，
表示激励后第c个通道对应的特征图。当r＝16时，能够得到较好的信息特征。引入SENet通道注意力机制，能够更好地获取到重要的通道特征信息，使网络具有较强的鲁棒性。
步骤S4:根据预处理后的图像数据集训练改进YOLO V3模型；
优选的在本实施例中，训练改进后的YOLO V3模型，利用Adam优化参数，初始学习率为0.001，batch_size为6，动量因子为0.9，权重衰减为0.0005。输入对塔式起重机锈蚀图像进行预处理后的图片进行效果测试，最终能够准确标出塔式起重机锈蚀区域的位置，并具有较高的置信度，在显示终端显示效果图。检测结果图如附图3所示。
步骤S5:将待测图像输入到训练后的改进YOLO V3模型中检测，判断出塔式起重机是否存在锈蚀缺陷；
步骤S6:判断出塔式起重机存在锈蚀缺陷时，采用阈值分割方法，将将锈蚀区域与图像中的其他区域分割出来。
在本实施例中，经过图像预处理及改进后的YOLO V3算法进行检测，可以有效判断出塔式起重机是否存在锈蚀缺陷，当存在锈蚀缺陷时，进一步地提取和分割锈蚀区域，方便下一步计算分析锈蚀面积、锈蚀率及锈蚀的危害程度。本文采用阈值分割方法，根据直方图分布设置两个阈值范围，然后根据灰级窗映射关系的处理，通过分段线性变换将锈蚀区域与图像中的其他区域分割出来。如：对检测结果附图3进行分割操作，首先进行直方图处理，直方图结果如附图4所示，根据直方图设置两个阈值范围，fa＝[1 80 160]，fb＝[80 160240]，有效地分割出锈蚀区域，分割结果图如附图5所示。最终结果在显示终端显示。
优选的，在本实施例中，阈值分割方法具体为:根据直方图分布设置两个阈值范围，然后根据灰级窗映射关系的处理，通过分段线性变换将锈蚀区域与图像中的其他区域分割出来，计算方法如下式所示：
其中，i＝1，2，…,m；j＝1，2，…,n；
图像的大小为m×n，fa、fb分别为设置的两个阈值，f(i,j)表示输入的图像，g(i,j)表示处理后的图像。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (6)
1.一种塔式起重机的锈蚀缺陷分割方法,其特征在于，包括以下步骤:
步骤S1:采集塔式起重机锈蚀缺陷图像，并通过数据增强扩充，得到图像数据集；
步骤S2:对图像数据集进行预处理，得到预处理后的图像数据集；
步骤S3:基于YOLO V3，引入通道注意力机制SENet，改进残差模块，构建改进YOLO V3模型；
步骤S4:根据预处理后的图像数据集训练改进YOLO V3模型；
步骤S5:将待测图像输入到训练后的改进YOLO V3模型中检测，判断出塔式起重机是否存在锈蚀缺陷；
步骤S6:判断出塔式起重机存在锈蚀缺陷时，采用阈值分割方法，将将锈蚀区域与图像中的其他区域分割出来。
2.根据权利要求1所述的一种塔式起重机的锈蚀缺陷分割方法,其特征在于，所述
步骤S1具体为：
步骤S11：采集不同的光照、亮度、角度的塔式起重机锈蚀缺陷图像，构成数据集；
步骤S12：通过数据增强扩充扩充数据集；
步骤S13:采用LabelMe对锈蚀目标进行标注，得到图像数据集。
3.根据权利要求1所述的一种塔式起重机的锈蚀缺陷分割方法,其特征在于，所述数据增强扩充方法包括增加亮度、减少亮度、镜像翻转和随机平移。
4.根据权利要求1所述的一种塔式起重机的锈蚀缺陷分割方法,其特征在于，所述预处理包括去噪处理、归一化处理和直方图均衡化。
5.根据权利要求1所述的一种塔式起重机的锈蚀缺陷分割方法,其特征在于，所述通道注意力机制SENet包括压缩和激励，具体为：
首先进行压缩操作，对输入的特征图进行压缩，通过全局平均池化层，将特征图压缩成一维，得到各个通道的全局信息，如下式所示：
其中uc表示特征图，大小为W×H×C，zc表示c个长度的一维数组，为第c个通道对应的特征映射。然后对全局特征进行激励操作，通过全连接层和ReLU函数、Sigmoid激励函数自适应地建立各个通道之间的关联，将各个通道的权重归一化；如下式所示：
s＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))
其中σ表示Sigmoid激励函数，δ表示ReLU非线性函数，
表示不同的全连接层，r为缩减因子；
最后将权重s加权到各个通道的特征上，如下式所示：
其中sc表示第c个通道对应的归一化权重，
表示激励后第c个通道对应的特征图。
6.根据权利要求1所述的一种塔式起重机的锈蚀缺陷分割方法,其特征在于，所述阈值分割方法具体为:根据直方图分布设置两个阈值范围，然后根据灰级窗映射关系的处理，通过分段线性变换将锈蚀区域与图像中的其他区域分割出来，计算方法如下式所示：
其中，i＝1，2，…,m；j＝1，2，…,n；
图像的大小为m×n，fa、fb分别为设置的两个阈值，f(i,j)表示输入的图像，g(i,j)表示处理后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011450469.7A CN112561872B (zh) | 2020-12-09 | 2020-12-09 | 一种塔式起重机的锈蚀缺陷分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011450469.7A CN112561872B (zh) | 2020-12-09 | 2020-12-09 | 一种塔式起重机的锈蚀缺陷分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112561872A true CN112561872A (zh) | 2021-03-26 |
| CN112561872B CN112561872B (zh) | 2022-05-24 |
Family
ID=75061120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011450469.7A Active CN112561872B (zh) | 2020-12-09 | 2020-12-09 | 一种塔式起重机的锈蚀缺陷分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112561872B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109214399A (zh) * | 2018-10-12 | 2019-01-15 | 清华大学深圳研究生院 | 一种嵌入SENet结构的改进YOLOV3目标识别算法 |
| CN111353413A (zh) * | 2020-02-25 | 2020-06-30 | 武汉大学 | 一种输电设备低漏报率缺陷识别方法 |
| US20200349736A1 (en) * | 2019-05-02 | 2020-11-05 | Salesforce.Com, Inc. | Object localization framework for unannotated image data |
-
2020
- 2020-12-09 CN CN202011450469.7A patent/CN112561872B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109214399A (zh) * | 2018-10-12 | 2019-01-15 | 清华大学深圳研究生院 | 一种嵌入SENet结构的改进YOLOV3目标识别算法 |
| US20200349736A1 (en) * | 2019-05-02 | 2020-11-05 | Salesforce.Com, Inc. | Object localization framework for unannotated image data |
| CN111353413A (zh) * | 2020-02-25 | 2020-06-30 | 武汉大学 | 一种输电设备低漏报率缺陷识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| PAULIUS TUMAS ET AL.: "Automated Image Annotation based on YOLOv3", 《2018 IEEE 6TH WORKSHOP ON ADVANCES IN INFORMATION, ELECTRONIC AND ELECTRICAL ENGINEERING (AIEEE)》 * |
| 张神德 等: "塔式起重机安全管理中裂缝检测方法", 《福建电脑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112561872B (zh) | 2022-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105447851B (zh) | 一种玻璃面板的音孔缺陷检测方法及系统 | |
| CN112837290B (zh) | 一种基于种子填充算法的裂缝图像自动识别方法 | |
| CN111611907B (zh) | 一种图像增强的红外目标检测方法 | |
| CN109472788B (zh) | 一种飞机铆钉表面的伤痕检测方法 | |
| CN111738056B (zh) | 一种基于改进YOLO v3的重卡盲区目标检测方法 | |
| CN116309559B (zh) | 一种中硼硅玻璃生产瑕疵智能识别方法 | |
| CN113487563B (zh) | 一种基于el图像的光伏组件隐裂自适应检测方法 | |
| CN114677601A (zh) | 一种基于无人机巡检的结合深度学习的大坝裂缝检测方法 | |
| CN110726725A (zh) | 一种输电线路金具锈蚀检测方法及装置 | |
| CN111079628A (zh) | 地板破损故障图像识别方法 | |
| CN111833328A (zh) | 基于深度学习的飞机发动机叶片表面缺陷检测方法 | |
| CN113313107B (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
| CN109359604B (zh) | 面向巡检机器人的阴影干扰下仪表识别方法 | |
| CN112561899A (zh) | 电力巡检图像识别方法 | |
| CN113327255A (zh) | 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法 | |
| CN112258444A (zh) | 一种电梯钢丝绳检测方法 | |
| CN116630321B (zh) | 基于人工智能的桥梁健康智能监测系统 | |
| CN111598845A (zh) | 基于深度学习与neo-6m定位模块的路面裂缝检测与定位的方法 | |
| CN114998356A (zh) | 一种基于图像处理的车桥缺陷检测方法 | |
| CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
| CN112561872B (zh) | 一种塔式起重机的锈蚀缺陷分割方法 | |
| CN116823756A (zh) | 一种桩腿焊缝缺陷检测方法 | |
| CN112288726A (zh) | 一种井下带式输送机带面异物检测方法 | |
| CN114758139B (zh) | 基坑积水检测方法 | |
| CN116612065A (zh) | 一种基于YOLO v5的输电线路巡检图像缺陷智能识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |