CN113221883A - 无人机飞行导航路线实时修正方法 - Google Patents
无人机飞行导航路线实时修正方法 Download PDFInfo
- Publication number
- CN113221883A CN113221883A CN202110516984.9A CN202110516984A CN113221883A CN 113221883 A CN113221883 A CN 113221883A CN 202110516984 A CN202110516984 A CN 202110516984A CN 113221883 A CN113221883 A CN 113221883A
- Authority
- CN
- China
- Prior art keywords
- picture
- target
- aerial vehicle
- unmanned aerial
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012937 correction Methods 0.000 title claims abstract description 10
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 9
- 238000007689 inspection Methods 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 10
- 238000011160 research Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000003208 petroleum Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及无人机飞行导航路线实时修正方法,本发明主要应用于无人机目标跟踪领域,利用无人机巡检诸如石油管线、河道、公路、铁路等线状地物时,由于被巡检目标的地理坐标与无人机导航系统都存在一定误差,使得无人机在按照预设线路飞行时,被巡检目标往往不能出现在视频画面的中央,增大了航线设计与飞行控制的难度,降低了视频画面对线状目标两侧的覆盖范围。因此,本发明方法能从视频画面中实时检测线状地物的中心线,可用作飞行控制系统修正导航路线的依据,使得无人机按照既定航线飞行时具备目标制导的能力。
Description
技术领域
本发明涉及无人机的飞行导航路线修正方法,具体涉及无人机飞行导航路线实时修正方法。
背景技术
从高分辨率遥感影像中检测石油管线、河道、公路、铁路等线状地物是遥感领域的研究热点和难点。同物异谱和同谱异物是利用遥感影像进行目标识别时时最常见的问题,目标所处环境、背景以及周边地物对目标的遮挡进一步加剧了目标识别问题的复杂性。现有线状地物检测和识别研究多以道路为研究对象,通过研究道路相对于周边地物的辐射特征和自身几何特征,有针对性的提出相应的目标检测方法,一般分为道路区域提取和道路中心线提取两步。
关于从高分辨率遥感影像中检测道路的问题,国内外学者进行了大量研究,取得了丰硕的研究成果,常用的目标特征有:
几何特征:从总体来看,高分辨率遥感影像中的道路是狭长的,长宽比较大。从局部来看,道路边线的曲率变化较小,其交叉处以十字型、T型或 Y型较为常见。
光谱特征:道路的光谱特征与铺装材质关系密切,对于材质一致的道路区域,光谱特征也相对一致,但对于材质不一的道路,对应的光谱特征差异较大。在高分辨率遥感图像中,道路区域中的细节信息更加明显,道路内部可能存在树木、车辆、行人等干扰物,从而使得道路表面不再平滑。
拓扑特征:通常情况下,道路一般不会突然中断,在一定范围内道路组成连通的网络。
空间上下文特征:道路的稠密程度与其发达程度密切相关。郊区的道路的空间上下文特征比较简单,而城市区域由于受到一些干扰物的影响,空间上下文特征相对复杂。
按照道路提取时采用的主要方法可以把现有研究成果分为三类:基于像素的道路提取方法、基于区域的道路提取方法以及基于知识的道路提取方法。
(1)基于像素的道路提取方法
基于像素的道路提取方法是利用从遥感图像的像素中所获得的信息来分析“道路”与“背景”之间的差异,从而提取出道路。
(2)基于区域的道路提取方法
基于区域的道路提取方法是将遥感图像分割成一系列区域,然后根据一定的规则来精细化提取道路网络。
(3)基于知识的道路提取方法
基于知识的道路提取方法通常使用了更多的信息,综合运用了学习、规则、理解等方法来提取道路。
分析现有道路提取方法可以发现。
(1)目标特征单一,鲁棒性低
现有检测方法首先选取某一地物(例如:道路)为研究对象,然后设定道路出现的环境是乡村还是城市,接着研究特定背景环境下目标自身的特征和区别于环境的特征,进而设计提取算法,优化提取方法,实现目标检测。当目标所处环境发生变化时,检测性能往往急剧下降。
(2)目标类型单一,通用性低
目标和目标所处环境是开展研究的前提条件,无论是目标本身发生变化还是背景发生变化,都将破环算法成立的前提条件。虽然现有方法在背景适应性方面做过一些较为深入的工作,甚至提出所谓复杂背景条件的目标检测,但这些背景往往仍然只能算作简单背景。当把针对一种目标设计的检测方法推广至另一种目标时,结果往往是令人失望的。
(3)算法复杂,处理效率低
由于目标特征是在特定环境下选取的,因而在目标检测之前需要经过一系列的与处理过程,将目标从背景中分割出来,或者突出目标在某些方面的特征,这些处理往往采用数字图像处理中的影像分割技术、聚类分割技术、边缘检测技术、卷积运算技术,耗时较多,难以满足实时性要求。
发明内容
本发明所要解决的技术问题是提供一种无人机飞行导航路线实时修正方法。
本发明解决上述技术问题的技术方案如下:
无人机飞行导航路线实时修正方法,包括以下步骤:
步骤1、将无人机摄像机对准线状地物巡检目标,使巡检目标出现在视频中央,取视频画面中长宽为画面宽高五分之一的矩形窗口作为目标窗口;
步骤2、无人机沿着巡检目标持续飞行,摄像机继续采集连续视频画面,利用灰度梯度算法计算影像在左右方向上的灰度梯度,首次出现梯度信号大于预设梯度阈值时认为发现非直线线状地物,则对该帧视频画面进行旋转,使视频画面中的非直线线状地物延伸方向与影像列方向一致,并跳转至下一步;
步骤3、将当前目标窗口作为基准窗口,将当前画面作为基准画面;
步骤4、无人机沿着巡检目标持续飞行,摄像机继续采集连续视频画面,当每一帧新画面采集完成后,利用灰度梯度算法计算画面在左右方向上的灰度梯度,若梯度信号大于预设梯度阈值时认为发现非直线线状地物,对视频画面进行旋转,使视频画面中的非直线线状地物延伸方向与影像列方向一致后跳转至下一步,若梯度信号小于预设梯度阈值时则认为未发现非直线线状地物,直接跳转至下一步;
步骤5、通过影像匹配方法计算当前画面与基准画面间的相对位置关系,把当前画面变换到基准画面坐标系,得到转转后的当前画面;
步骤6、对转转后的当前画面的目标窗口进行纹理分析,采用大津法计算光滑纹理和非光滑纹理之间的最佳分割阈值,提取纹理光滑部分,并使用数学形态学方法计算纹理光滑区的骨架,将骨架进一步简化为直线段,视作目标中心线,将目标中心线中点与画面中心点间的偏移量作为偏离度输出;
步骤7、根据当前画面的偏离度向无人机飞行控制系统发送反向补偿信号,使得无人机的飞行路线位于画面中巡检目标的中心线处。
进一步的,所述步骤5具体为,提取整个画面的灰度特征,按照k-d树所述方法计算当前画面特征与基准特征在高维特征空间中的距离,小于预设距离阈值的认为是同名像点,根据同名像点按照正形变换公示将当前帧变换到基准帧坐标系。
进一步的,所述步骤2中,发现非直线线状地物后,还包括绘制目标锁定矩形框予以指示,由用户通过交互式界面进行确认,用户确认后进行下一步的步骤。
本发明的有益效果为:本发明主要应用于无人机目标跟踪领域。利用无人机巡检诸如石油管线、河道、公路、铁路等线状地物时,由于被巡检目标的地理坐标与无人机导航系统都存在一定误差,使得无人机在按照预设线路飞行时,被巡检目标往往不能出现在视频画面的中央,增大了航线设计与飞行控制的难度,降低了视频画面对线状目标两侧的覆盖范围。因此,本发明方法能从视频画面中实时检测线状地物的中心线,可用作飞行控制系统修正导航路线的依据,使得无人机按照既定航线飞行时具备目标制导的能力。
本发明从视频画面中实时提取线状目标中心线后,计算中心线偏离视场中心的程度,结合无人机姿态和摄像机姿态等参数,可进一步将中心线偏离度转换为无人机相对于线状地物的偏离度。将此信息输入到无人机飞行控制系统以后,再转换为飞行控制指令,调整无人机飞行姿态,锁定无人机与线状目标间的相对关系。本发明可作为无人机GNSS导航之外的另一目标制导方法。
附图说明
图1为本发明的方法流程图。
图2为无人机采集的视频画面截图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
本发明以马尔可夫随机链为基础,首先将无人机摄像机对准巡检目标,使巡检目标出现在视频中央,算法以画面中心点为中心,取长宽为画面宽高五分之一的矩形窗口作为目标窗口;然后利用相机云台姿态参数(无云台时取飞机姿态参数作为近似值)计算画面朝向,并沿朝向的垂直方向计算灰度梯度,当灰度梯度大于设定阈值时,认为检测到非直线线状目标,并将当前目标窗口作为基准窗口;接着当新画面采集完成后,通过影像匹配方法计算当前画面与基准画面间的相对位置关系,把当前画面变换到基准画面坐标系,再次计算新朝向,并计算画面中心垂直于朝向的灰度梯度,当大于阈值时认为检测到非直线线状目标;最后将目标变换回原画面坐标系,输出目标与中心点偏离度,根据当前画面的偏离度向无人机飞行控制系统发送反向补偿信号,即可使得无人机的飞行路线位于画面中巡检目标的中心线处,如图 2所示,图中道路为巡检目标,道路中的曲线为道路中心线。
下面按照图1所示流程详细说明本发明每个步骤的计算过程:
(1)目标锁定
以视频画面中心点为原点对影像进行旋转,使线状地物延伸方向与影像列方向一致,不同巡检业务的拍摄视角不同,旋转角需要根据实际飞行情况确定。对于旋转后的影像,利用灰度梯度算法计算影像在左右方向上的梯度,当梯度信号大于阈值时认为发现线状地物,并绘制目标锁定矩形框予以指示,由用户通过交互式界面进行确认。
(2)建立基准帧
用户确认后,以画面中心点为中心,长宽为画面宽高五分之一的矩形窗口为基准窗口,提取影像窗口的灰度特征,为下一帧影像匹配做好准备。
(3)当前帧向基准帧配准
提取整个画面的灰度特征,按照k-d树所述方法计算当前画面特征与基准特征在高维特征空间中的距离,小于阈值的认为是同名像点。根据同名像点按照正形变换公示将当前帧变换到基准帧坐标系。
(4)目标检测
按照步骤(1)所述方法对画面做旋转操作,计算目标窗口左右方向的灰度梯度,当梯度信号大于阈值时认为发现线状地物,并将当前帧视作基准帧,小于阈值时根据步骤(3)结果将基准目标窗口推估到当前帧。
(5)目标偏离度计算
按照纹理分析方法对目标窗口进行纹理分析,采用大津法计算光滑纹理和非光滑纹理之间的最佳分割阈值,提取纹理光滑部分,并使用数学形态学方法计算纹理光滑区的骨架,将骨架进一步简化为直线段,视作目标中心线,将目标中心线中点与画面中心点间的偏移量作为偏离度输出。
(6)偏离度补偿
根据当前画面的偏离度向无人机飞行控制系统发送反向补偿信号,使得无人机的飞行路线位于画面中巡检目标的中心线处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.无人机飞行导航路线实时修正方法,其特征在于,包括以下步骤:
步骤1、将无人机摄像机对准线状地物巡检目标,使巡检目标出现在视频中央,取视频画面中长宽为画面宽高五分之一的矩形窗口作为目标窗口;
步骤2、无人机沿着巡检目标持续飞行,摄像机继续采集连续视频画面,利用灰度梯度算法计算影像在左右方向上的灰度梯度,首次出现梯度信号大于预设梯度阈值时认为发现非直线线状地物,则对该帧视频画面进行旋转,使视频画面中的非直线线状地物延伸方向与影像列方向一致,并跳转至下一步;
步骤3、将当前目标窗口作为基准窗口,将当前画面作为基准画面;
步骤4、无人机沿着巡检目标持续飞行,摄像机继续采集连续视频画面,当每一帧新画面采集完成后,利用灰度梯度算法计算画面在左右方向上的灰度梯度,若梯度信号大于预设梯度阈值时认为发现非直线线状地物,对视频画面进行旋转,使视频画面中的非直线线状地物延伸方向与影像列方向一致后跳转至下一步,若梯度信号小于预设梯度阈值时则认为未发现非直线线状地物,直接跳转至下一步;
步骤5、通过影像匹配方法计算当前画面与基准画面间的相对位置关系,把当前画面变换到基准画面坐标系,得到转转后的当前画面;
步骤6、对转转后的当前画面的目标窗口进行纹理分析,采用大津法计算光滑纹理和非光滑纹理之间的最佳分割阈值,提取纹理光滑部分,并使用数学形态学方法计算纹理光滑区的骨架,将骨架进一步简化为直线段,视作目标中心线,将目标中心线中点与画面中心点间的偏移量作为偏离度输出;
步骤7、根据当前画面的偏离度向无人机飞行控制系统发送反向补偿信号,使得无人机的飞行路线位于画面中巡检目标的中心线处。
2.根据权利要求1所述的无人机飞行导航路线实时修正方法,其特征在于,所述步骤5具体为,提取整个画面的灰度特征,按照k-d树所述方法计算当前画面特征与基准特征在高维特征空间中的距离,小于预设距离阈值的认为是同名像点,根据同名像点按照正形变换公示将当前帧变换到基准帧坐标系。
3.根据权利要求1所述的无人机飞行导航路线实时修正方法,其特征在于,所述步骤2中,发现非直线线状地物后,还包括绘制目标锁定矩形框予以指示,由用户通过交互式界面进行确认,用户确认后进行下一步的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110516984.9A CN113221883B (zh) | 2021-05-12 | 2021-05-12 | 无人机飞行导航路线实时修正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110516984.9A CN113221883B (zh) | 2021-05-12 | 2021-05-12 | 无人机飞行导航路线实时修正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113221883A true CN113221883A (zh) | 2021-08-06 |
CN113221883B CN113221883B (zh) | 2023-10-27 |
Family
ID=77095100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110516984.9A Active CN113221883B (zh) | 2021-05-12 | 2021-05-12 | 无人机飞行导航路线实时修正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113221883B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114415708A (zh) * | 2022-01-24 | 2022-04-29 | 上海复亚智能科技有限公司 | 一种道路自巡检方法、装置、无人机及存储介质 |
CN114529545A (zh) * | 2022-04-22 | 2022-05-24 | 天津理工大学 | 一种基于无人机的道路缺陷自动检测方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104808685A (zh) * | 2015-04-27 | 2015-07-29 | 中国科学院长春光学精密机械与物理研究所 | 用于无人机自主降落的视觉辅助装置及视觉辅助方法 |
KR20190051704A (ko) * | 2017-11-07 | 2019-05-15 | 공간정보기술 주식회사 | 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템 |
CN109765930A (zh) * | 2019-01-29 | 2019-05-17 | 理光软件研究所(北京)有限公司 | 一种无人机视觉导航系统 |
CN112577472A (zh) * | 2020-12-03 | 2021-03-30 | 上海振华重工电气有限公司 | 一种无人机光伏巡检定位系统及方法 |
-
2021
- 2021-05-12 CN CN202110516984.9A patent/CN113221883B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104808685A (zh) * | 2015-04-27 | 2015-07-29 | 中国科学院长春光学精密机械与物理研究所 | 用于无人机自主降落的视觉辅助装置及视觉辅助方法 |
KR20190051704A (ko) * | 2017-11-07 | 2019-05-15 | 공간정보기술 주식회사 | 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템 |
CN109765930A (zh) * | 2019-01-29 | 2019-05-17 | 理光软件研究所(北京)有限公司 | 一种无人机视觉导航系统 |
CN112577472A (zh) * | 2020-12-03 | 2021-03-30 | 上海振华重工电气有限公司 | 一种无人机光伏巡检定位系统及方法 |
Non-Patent Citations (1)
Title |
---|
包加桐;宋爱国;唐鸿儒;熊鹏文;: "基于视觉目标跟踪的侦察机器人导航方法", 东南大学学报(自然科学版), no. 03, pages 11 - 17 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114415708A (zh) * | 2022-01-24 | 2022-04-29 | 上海复亚智能科技有限公司 | 一种道路自巡检方法、装置、无人机及存储介质 |
CN114529545A (zh) * | 2022-04-22 | 2022-05-24 | 天津理工大学 | 一种基于无人机的道路缺陷自动检测方法及系统 |
CN114529545B (zh) * | 2022-04-22 | 2022-07-12 | 天津理工大学 | 一种基于无人机的道路缺陷自动检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113221883B (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107463918B (zh) | 基于激光点云与影像数据融合的车道线提取方法 | |
Ma et al. | Generation of horizontally curved driving lines in HD maps using mobile laser scanning point clouds | |
Smadja et al. | Road extraction and environment interpretation from LiDAR sensors | |
CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
CN110569861B (zh) | 一种基于点特征和轮廓特征融合的图像匹配定位方法 | |
CN104123730A (zh) | 基于道路特征的遥感影像与激光点云配准方法及系统 | |
Soheilian et al. | 3D road marking reconstruction from street-level calibrated stereo pairs | |
KR20210081983A (ko) | 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법 | |
CN113221883A (zh) | 无人机飞行导航路线实时修正方法 | |
CN112464812A (zh) | 一种基于车辆的凹陷类障碍物检测方法 | |
CN112800938B (zh) | 无人驾驶车辆检测侧面落石发生的方法及装置 | |
CN112070756A (zh) | 一种基于无人机倾斜摄影的路面立体病害测量方法 | |
Zhang et al. | 3D highway curve reconstruction from mobile laser scanning point clouds | |
CN116152342A (zh) | 一种基于梯度的路牌配准定位方法 | |
Al-Rawabdeh et al. | A robust registration algorithm for point clouds from UAV images for change detection | |
Kong et al. | An automatic and accurate method for marking ground control points in unmanned aerial vehicle photogrammetry | |
CN113554705B (zh) | 一种变化场景下的激光雷达鲁棒定位方法 | |
KR20220151572A (ko) | IPM 이미지와 정밀도로지도(HD Map) 피팅을 통해 노면객체의 변화를 자동으로 판단하고 갱신하는 정밀도로지도 자동갱신 방법 및 시스템 | |
CA3122868A1 (en) | Method and system for generating an environment model for positioning | |
Jende et al. | Fully automatic feature-based registration of mobile mapping and aerial nadir images for enabling the adjustment of mobile platform locations in GNSS-denied urban environments | |
Jende et al. | Low-level tie feature extraction of mobile mapping data (MLS/images) and aerial imagery | |
Li et al. | Lane detection and road surface reconstruction based on multiple vanishing point & symposia | |
Busch et al. | High definition mapping using lidar traced trajectories | |
Park et al. | Localization of an unmanned ground vehicle based on hybrid 3D registration of 360 degree range data and DSM | |
CN112020722A (zh) | 基于三维传感器数据识别路肩 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |