CN112418336A - 一种电力线巡检影像密集匹配方法 - Google Patents
一种电力线巡检影像密集匹配方法 Download PDFInfo
- Publication number
- CN112418336A CN112418336A CN202011359543.4A CN202011359543A CN112418336A CN 112418336 A CN112418336 A CN 112418336A CN 202011359543 A CN202011359543 A CN 202011359543A CN 112418336 A CN112418336 A CN 112418336A
- Authority
- CN
- China
- Prior art keywords
- power line
- network
- matching method
- line inspection
- inspection image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000007689 inspection Methods 0.000 title claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 abstract description 3
- 230000009471 action Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及电力巡检技术领域,具体涉及一种电力线巡检影像密集匹配方法,采用级联学习的策略,分为两个网络进行学习;第一个网络将输入的立体影像进行初步特征提取和初步视差估计;第二个网络在第一个网络的基础上,对初步视差估计过程进行视差精化,从而得到最终的匹配结果。本发明的电力线巡检影像密集匹配方法,能够实现电力线巡航的自动化巡检工作,而且能够快速高效地实现大规模的巡检工作,并且在多尺度卷积的作用下,使得匹配的结果能够适应不同尺度的匹配变化。
Description
技术领域
本发明涉及电力巡检技术领域,具体涉及一种电力线巡检影像密集匹配方法。
背景技术
无人机影像进行电力巡线相比于人工巡线有着高效、安全等多方面的优点。其中,利用航空影像进行密集匹配,从而获得逐个像素的视差值是恢复电力沿线真实三维模型的重要步骤。在实现无人机影像密集匹配的过程中,按照是否采用深度学习的方法可以分为基于传统算法的密集匹配和基于深度学习算法的密集匹配。
传统的影像密集匹配方法往往会因受到光照不均匀、低纹理或重复纹理等一系列病态问题导致匹配精度,鲁棒性受到影响。近些年随着深度学习的不断发展,学者们意识到基于深度学习的图像处理方法能够大幅度地提高图像处理的效果。在影像密集匹配领域,不少学者也提出各种基于深度学习的密集匹配方法。
中国专利CN109146937A公开了一种基于深度学习的电力巡检影像密集匹配方法,其基于的是一种名为PSMNet的新的密集匹配网络,这种网络结构结合了金字塔池化方法和3D卷积神经网络方法,能够较好的搜集匹配区域周围的上下文信息,从而使得该方法在纹理缺乏、遮挡等病态区域有更好的表现,这也是本文的主要研究方法。但是PSMNet网络没有顾及到不同特征之间的重要性关系,没有对重要性大的特征进行加权。
发明内容
为了克服现有技术所存在的缺陷,本发明提供了一种电力线巡检影像密集匹配方法,能够实现电力线巡航的自动化巡检工作,而且能够快速高效地实现大规模的巡检工作,并且在多尺度卷积的作用下,使得匹配的结果能够适应不同尺度的匹配变化。
为解决上述技术问题,本发明提供以下技术方案:
一种电力线巡检影像密集匹配方法,基于的是级联多尺度残差学习网络,采用级联学习的策略,分为两个网络进行学习;第一个网络将输入的立体影像进行初步特征提取和初步视差估计;第二个网络在第一个网络的基础上,对初步视差估计过程进行视差精化,从而得到最终的匹配结果。
进一步的,在初步特征提取的阶段,采用多尺度卷积神经网络来获得不同尺度大小的特征信息,从而增加网络对于不同特征信息的提取。
进一步的,采用的尺度分别是3x3,5x5以及7x7,从而能够保证网络对于多尺度特征的适应性。
进一步的,在第一个网络中,采用连续的五层共享权值的卷积神经网络对立体影像的左右影像进行特征提取,接下来通过拼接的方式将左右影像的初步特征进行一个重叠,最后通过三层的卷积神经网络对视差进行预测估计。
进一步的,在网络设计的过程中也加入残差网络的思想,通过将前一层学习的结果加到当前层的特征图,从而使得网络能够结合低层次和高层次的特征,加入了残差学习网络的另一个优点是防止网络出现梯度消失和梯度爆炸的情况出现,该层网络采用Adam梯度下降算法对网络的权重进行更新。
进一步的,在连接层的部分,直接将第五层提取的左右影像特征图在特征通道上进行叠加,叠加后的特征通道数增加一倍,本发明没有采用对左右特征图的值直接相加的方法,因为直接相加处理加入了人为因素,而本网络是一种端到端的训练过程,因此,叠加后的特征图由后续的卷积操作进行学习。
进一步的,叠加处理完成之后,采用连续的三个卷积层来提取出初步的视差结果,最终输出一张视差图,网络采用回归的方式获得最终的视差结果,因此视差图的精度可以达到子像素的精度。
进一步的,在第二个网络中,采用编码-反编码的网络结构对初步的视差结果进行精化。
进一步的,编码-反编码结构主要分为通过卷积的下采样和通过反卷积的上采样过程。
进一步的,通过卷积的下采样过程中,利用三个连续的步长为二的卷积操作,使得输入的影像大小缩小为原始图像的八分之一,从而获得编码以后的影像,然后再通过三个连续的步长为二的反卷积过程,使得编码后的影像恢复到原始影像的大小,从而获得解码以后的特征图。
进一步的,在编码-反编码结构的过程使用的是大小为3x3的卷积核,在通过连续的三个编码反解码的卷积操作之后,初步视差估计得到进一步的精化,从而得到最终的匹配结果。
进一步的,视差初步估计过程采用的真实值和视差精化过程中采用的真实值相同,在经过这一系列的编码解码网络之后,便能获得最终的精化结果。
与现有技术相比,本发明具有以下有益效果:
能够实现电力线巡航的自动化巡检工作,而且能够快速高效地实现大规模的巡检工作,并且在多尺度卷积的作用下,使得匹配的结果能够适应不同尺度的匹配变化。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据附图获得其他的附图。
图1为密集匹配网络多尺度卷积结构示意图;
图2为密集匹配网络编码反编码结构示意图;
图3为视差初步估计网络示意图;
图4为视差精化网络示意图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例包括:
实施例一:
一种电力线巡检影像密集匹配方法,基于的是级联多尺度残差学习网络,采用级联学习的策略,分为两个网络进行学习;第一个网络将输入的立体影像进行初步特征提取和初步视差估计;第二个网络在第一个网络的基础上,对初步视差估计过程进行视差精化,从而得到最终的匹配结果。
如图1所示,在初步特征提取的阶段,采用多尺度卷积神经网络来获得不同尺度大小的特征信息,从而增加网络对于不同特征信息的提取。
如图1所示,采用的尺度分别是3x3,5x5以及7x7,从而能够保证网络对于多尺度特征的适应性。
如图3所示,在第一个网络中,采用连续的五层共享权值的卷积神经网络对立体影像的左右影像进行特征提取,接下来通过拼接的方式将左右影像的初步特征进行一个重叠,最后通过三层的卷积神经网络对视差进行预测估计。
在本实施例中,在网络设计的过程中也加入残差网络的思想,通过将前一层学习的结果加到当前层的特征图,从而使得网络能够结合低层次和高层次的特征,加入了残差学习网络的另一个优点是防止网络出现梯度消失和梯度爆炸的情况出现,该层网络采用Adam梯度下降算法对网络的权重进行更新。
在本实施例中,在连接层的部分,直接将第五层提取的左右影像特征图在特征通道上进行叠加,叠加后的特征通道数增加一倍,本发明没有采用对左右特征图的值直接相加的方法,因为直接相加处理加入了人为因素,而本网络是一种端到端的训练过程,因此,叠加后的特征图由后续的卷积操作进行学习。
在本实施例中,叠加处理完成之后,采用连续的三个卷积层来提取出初步的视差结果,最终输出一张视差图,网络采用回归的方式获得最终的视差结果,因此视差图的精度可以达到子像素的精度。
经过了视差初步估计网络,可以得到一系列的无人机场景初步匹配结果,这些结果的精确度虽然有限,但是可以作为后续视差精化部分的初始值,其具体网络结构如下表所示:
表1初步视差估计网络结构
在本实施例中,在第二个网络中,采用编码-反编码的网络结构对初步的视差结果进行精化。
在本实施例中,编码-反编码结构主要分为通过卷积的下采样和通过反卷积的上采样过程。
如图2和4所示,通过卷积的下采样过程中,利用三个连续的步长为二的卷积操作,使得输入的影像大小缩小为原始图像的八分之一,从而获得编码以后的影像,然后再通过三个连续的步长为二的反卷积过程,使得编码后的影像恢复到原始影像的大小,从而获得解码以后的特征图。
在本实施例中,在编码-反编码结构的过程使用的是大小为3x3的卷积核,在通过连续的三个编码反解码的卷积操作之后,初步视差估计得到精化,从而得到最终的匹配结果。
视差精化网络结构如下表所示:
表2视差精化网络结构
在本实施例中,视差初步估计过程采用的真实值和视差精化过程中采用的真实值相同,在经过这一系列的编码解码网络之后,便能获得最终的精化结果。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种电力线巡检影像密集匹配方法,其特征在于,采用级联学习的策略,分为两个网络进行学习;第一个网络将输入的立体影像进行初步特征提取和初步视差估计;第二个网络在第一个网络的基础上,对初步视差估计过程进行视差精化,从而得到最终的匹配结果。
2.根据权利要求1所述的电力线巡检影像密集匹配方法,其特征在于,在初步特征提取的阶段,采用多尺度卷积神经网络来获得不同尺度大小的特征信息。
3.根据权利要求2所述的电力线巡检影像密集匹配方法,其特征在于,采用的尺度分别是3x3,5x5以及7x7。
4.根据权利要求3所述的电力线巡检影像密集匹配方法,其特征在于,在第一个网络中,采用连续的五层共享权值的卷积神经网络对立体影像的左右影像进行特征提取,接下来通过拼接的方式将左右影像的初步特征进行一个重叠,最后通过三层的卷积神经网络对视差进行预测估计。
5.根据权利要求4所述的电力线巡检影像密集匹配方法,其特征在于,在连接层的部分,直接将第五层提取的左右影像特征图在特征通道上进行叠加,叠加后的特征通道数增加一倍。
6.根据权利要求5所述的电力线巡检影像密集匹配方法,其特征在于,叠加处理完成之后,采用连续的三个卷积层来提取出初步的视差结果,最终输出一张视差图。
7.根据权利要求6所述的电力线巡检影像密集匹配方法,其特征在于,在第二个网络中,采用编码-反编码的网络结构对初步的视差结果进行精化。
8.根据权利要求7所述的电力线巡检影像密集匹配方法,其特征在于,编码-反编码结构主要分为通过卷积的下采样和通过反卷积的上采样过程。
9.根据权利要求8所述的电力线巡检影像密集匹配方法,其特征在于,通过卷积的下采样过程中,利用三个连续的步长为二的卷积操作,使得输入的影像大小缩小为原始图像的八分之一,从而获得编码以后的影像,然后再通过三个连续的步长为二的反卷积过程,使得编码后的影像恢复到原始影像的大小,从而获得解码以后的特征图。
10.根据权利要求9所述的电力线巡检影像密集匹配方法,其特征在于,在编码-反编码结构的过程使用的是大小为3x3的卷积核,在通过连续的三个编码反解码的卷积操作之后,初步视差估计得到进一步的精化,从而得到最终的匹配结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011359543.4A CN112418336B (zh) | 2020-11-27 | 2020-11-27 | 一种电力线巡检影像密集匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011359543.4A CN112418336B (zh) | 2020-11-27 | 2020-11-27 | 一种电力线巡检影像密集匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112418336A true CN112418336A (zh) | 2021-02-26 |
CN112418336B CN112418336B (zh) | 2024-01-23 |
Family
ID=74843450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011359543.4A Active CN112418336B (zh) | 2020-11-27 | 2020-11-27 | 一种电力线巡检影像密集匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112418336B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108365557A (zh) * | 2018-02-24 | 2018-08-03 | 广东电网有限责任公司肇庆供电局 | 一种无人机精细化巡检输电线路的方法及系统 |
CN109146937A (zh) * | 2018-08-22 | 2019-01-04 | 广东电网有限责任公司 | 一种基于深度学习的电力巡检影像密集匹配方法 |
WO2019190017A1 (ko) * | 2018-03-26 | 2019-10-03 | 아주대학교 산학협력단 | 저 해상도 이미지 보정을 위한 잔차 네트워크 시스템 |
CN110427968A (zh) * | 2019-06-28 | 2019-11-08 | 武汉大学 | 一种基于细节增强的双目立体匹配方法 |
CN110533712A (zh) * | 2019-08-26 | 2019-12-03 | 北京工业大学 | 一种基于卷积神经网络的双目立体匹配方法 |
CN111127538A (zh) * | 2019-12-17 | 2020-05-08 | 武汉大学 | 一种基于卷积循环编码-解码结构的多视影像三维重建方法 |
CN111402129A (zh) * | 2020-02-21 | 2020-07-10 | 西安交通大学 | 一种基于联合上采样卷积神经网络的双目立体匹配方法 |
CN111696148A (zh) * | 2020-06-17 | 2020-09-22 | 中国科学技术大学 | 基于卷积神经网络的端到端立体匹配方法 |
CN111833387A (zh) * | 2020-07-22 | 2020-10-27 | 中国石油大学(华东) | 一种基于通道注意力机制的双目立体匹配方法 |
CN111915660A (zh) * | 2020-06-28 | 2020-11-10 | 华南理工大学 | 基于共享特征和注意力上采样的双目视差匹配方法及系统 |
-
2020
- 2020-11-27 CN CN202011359543.4A patent/CN112418336B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108365557A (zh) * | 2018-02-24 | 2018-08-03 | 广东电网有限责任公司肇庆供电局 | 一种无人机精细化巡检输电线路的方法及系统 |
WO2019190017A1 (ko) * | 2018-03-26 | 2019-10-03 | 아주대학교 산학협력단 | 저 해상도 이미지 보정을 위한 잔차 네트워크 시스템 |
CN109146937A (zh) * | 2018-08-22 | 2019-01-04 | 广东电网有限责任公司 | 一种基于深度学习的电力巡检影像密集匹配方法 |
CN110427968A (zh) * | 2019-06-28 | 2019-11-08 | 武汉大学 | 一种基于细节增强的双目立体匹配方法 |
CN110533712A (zh) * | 2019-08-26 | 2019-12-03 | 北京工业大学 | 一种基于卷积神经网络的双目立体匹配方法 |
CN111127538A (zh) * | 2019-12-17 | 2020-05-08 | 武汉大学 | 一种基于卷积循环编码-解码结构的多视影像三维重建方法 |
CN111402129A (zh) * | 2020-02-21 | 2020-07-10 | 西安交通大学 | 一种基于联合上采样卷积神经网络的双目立体匹配方法 |
CN111696148A (zh) * | 2020-06-17 | 2020-09-22 | 中国科学技术大学 | 基于卷积神经网络的端到端立体匹配方法 |
CN111915660A (zh) * | 2020-06-28 | 2020-11-10 | 华南理工大学 | 基于共享特征和注意力上采样的双目视差匹配方法及系统 |
CN111833387A (zh) * | 2020-07-22 | 2020-10-27 | 中国石油大学(华东) | 一种基于通道注意力机制的双目立体匹配方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112418336B (zh) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109522966B (zh) | 一种基于密集连接卷积神经网络的目标检测方法 | |
CN109829891B (zh) | 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法 | |
CN110084274B (zh) | 实时图像语义分割方法及系统、可读存储介质和终端 | |
CN111915487A (zh) | 基于分层多尺度残差融合网络的人脸超分辨率方法及装置 | |
CN113362242B (zh) | 基于多特征融合网络的图像修复方法 | |
CN111145253A (zh) | 一种高效的物体6d姿态估计算法 | |
CN114842363B (zh) | 一种数字孪生台区关键电力设备的识别方法及系统 | |
CN110766623A (zh) | 一种基于深度学习的立体图像修复方法 | |
CN113763446B (zh) | 一种基于引导信息的立体匹配方法 | |
CN115082928B (zh) | 面向复杂场景的不对称双分支实时语义分割网络的方法 | |
CN111833386A (zh) | 一种基于多尺度信息和注意力机制的金字塔双目立体匹配方法 | |
CN114638842B (zh) | 一种基于mlp的医学图像分割方法 | |
CN112750125A (zh) | 一种基于端到端关键点检测的玻璃绝缘子片定位方法 | |
CN114170311A (zh) | 一种双目立体匹配方法 | |
Li et al. | Maskformer with improved encoder-decoder module for semantic segmentation of fine-resolution remote sensing images | |
CN112270701B (zh) | 基于分组距离网络的视差预测方法、系统及存储介质 | |
CN111914853B (zh) | 一种用于立体匹配的特征提取方法 | |
CN117975013A (zh) | 一种基于交叉注意力及多尺度特征融合的点云分割方法 | |
CN112418336A (zh) | 一种电力线巡检影像密集匹配方法 | |
CN113450364B (zh) | 一种基于三维通量模型的树状结构中心线提取方法 | |
CN114022381A (zh) | 一种双目图像自修复网络模型的训练方法 | |
CN113239771A (zh) | 一种姿态估计方法、系统及其应用 | |
Deng et al. | A two-stage hybrid cnn-transformer network for rgb guided indoor depth completion | |
Choudhary et al. | 2T-UNET: A Two-Tower UNet with Depth Clues for Robust Stereo Depth Estimation | |
CN113610721B (zh) | 一种基于部分卷积生成对抗网络的图像修复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |