CN107218926B - 一种基于无人机平台的远程扫描的数据处理方法 - Google Patents
一种基于无人机平台的远程扫描的数据处理方法 Download PDFInfo
- Publication number
- CN107218926B CN107218926B CN201710332021.7A CN201710332021A CN107218926B CN 107218926 B CN107218926 B CN 107218926B CN 201710332021 A CN201710332021 A CN 201710332021A CN 107218926 B CN107218926 B CN 107218926B
- Authority
- CN
- China
- Prior art keywords
- scanning
- point cloud
- aerial vehicle
- unmanned aerial
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提出了一种基于无人机平台的远程扫描的数据处理方法,是一种易于操作、测量准确、快速高效的无人机远程扫描方法。本发明采用无人机作为测量平台,对测量过程中的数据进行实时修正补偿与现有技术在数据处理上存在显著区别,本发明所提出的数据融合方法不仅解决了测量平台的移动问题,还对测量过程中的平台旋转、振动均进行了补偿,并解决了远程运动过程中的空间扫描。丰富的扫描结果对于洞穴研究、坑道救援、地震/火灾等灾难现场重建等应用领域具有重要的实用意义,完整、准确、丰富的三维结果具有重要的应用意义。
Description
技术领域
本发明涉及一种无人机远程扫描方法。
背景技术
无人驾驶飞机简称“无人机”,是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。目前主要采用无人机+摄像的方法获得航拍图像,对于飞行区域的三维数据无法有效获得。
现有的场站式激光扫描主要采用固定测站的方式进行测量,对于基于运动测量台的检测扫描的相关技术有:
CN201310463263.1中公开了一种车载三维数据采集移动平台;
CN201610112404.9中公开了一种扫描仪自主获取矿山坐标系下三维空间形态的方法;
CN201510548915.0中公开了一种车载式林木三维彩色成像对靶喷雾方法;
CN201510900007.3中公开了一种煤矿井下移动设备自主定位的方法及系统。
其中,所述采用车载方式进行便携式全角度全身人体光学扫描设备仅是移动式的数据采集工作室,扫描过程仍为固定状态下的扫描,并未涉及移动状态下的数据采集处理,并且该发明使用服装定制室内部人体扫描室进行人体数据的采集,并不涉及环境扫描数据的拼接和融合,与本发明的数据采集及处理方法存在显著区别;在申请号分别为201610112404.9、201310463263.1和201510900007.3的发明创造中均采用三维激光扫描仪进行数据采集,但是单次采集过程中测站并不发生移动,各个测站之间的数据仅通过平移坐标的方式进行对齐。上述已有专利所涉及的技术主要为将扫描设备移动至固定位置进行扫描,在扫描设备运行过程中并不发生移动,无法解决无人机平台的运动问题。
发明内容
为克服现有技术中存在的测量过程中测量平台无法移动的不足,本发明提出了一种基于无人机平台的远程扫描的数据处理方法。
本发明得具体过程是:
步骤1:设备安装:
步骤2:扫描参数的设置;
所述的扫描参数包括无人机的飞行路径和激光扫描仪扫描模式。
通过GPS或路径输入的方式设置无人机的飞行路径。
设置激光扫描仪的单幅扫描时间和连接数据传输通道。
所述设置的扫描参数包括:所设定的无人机飞行速度应小于激光扫描仪额定的有效单幅扫描半径除以所设定的扫描仪单幅扫描时间的二倍:
Va<(Se/Te/2) (1)
其中,Va表示无人机所设定飞行速度,Se表示激光扫描仪额定的有效单幅扫描半径,Te表示所设定的扫描仪单幅扫描时间。
步骤3:扫描及数据处理。
启动扫描任务,无人机携带扫描仪进行远程扫描。
扫描中,无人机实时返回的运行速度、位置和姿态,以及扫描仪实时扫描返回的三维点坐标P(x,y,z)。对得到的数据进行运动反解,修正无人机飞行对于三维扫描数据的影响。
在处理扫描数据时,无人机速度、位置与扫描仪数据需时间同步。
所述对得到的数据进行运动反解的具体过程是,设无人机在拍摄过程中的位置改变量为{Tx,Ty,Tz,Rx,Ry,Rz},其中,Tx,Ty,Tz表示相对于x、y、z坐标轴的空间平移量,Rx,Ry,Rz表示x、y、z坐标轴的空间旋转量。根据无人机的位置改变和激光扫描频率,带入矩阵式分别得到激光扫描仪在扫描过程中的无人机空间旋转矩阵R:
和位移矩阵T:
T=[Tx,Ty,Tz] (3)
对每个扫描三维点坐标P进行坐标转换:
Presult=RP+T (4)
其中Presult为修正后的空间点坐标,对所有空间点进行坐标转换后,所获得的完整点云数据即为真实点云数据。
步骤4:单幅点云校正。
进行三维坐标迭代更新,式(5),σs为空域高斯函数的标准差,σr为值域高斯函数的标准差,Ω表示卷积的定义域。
已计算完成的点集为现有点云,新计算得到的点集{Presult}为新获取点云。在第一幅扫描中,现有点云为空集;第一幅扫描结束时新获取的点云自动转换成为现有点云。
自第二幅的扫描起,融合点云为现有点云。获取所述的融合点云的方法如下:
计算第二幅扫描中新获取点云与前一幅得到的现有点云之间的重叠区域,根据该点云重叠区域的曲率特征,从新获取点云重叠区域样本集中随机抽选一个样本,即4个匹配点对。通过该样本中的4个匹配点对计算变换矩阵M。
根据新获取点云重叠区域样本集、变换矩阵M和误差度量函数,计算满足当前变换矩阵的一致集consensus,并返回一致集中元素个数。
根据当前一致集中元素个数如大于之前的最大一致集中元素个数时,则将当前一致集更新为最大一致集,同时更新当前错误概率p;若p大于允许的最小错误概率则重复上述步骤继续迭代,直到当前错误概率p小于最小错误概率,得到最优匹配矩阵。
通过所述的最优匹配矩阵将输入点云坐标进行修正,使重叠区域特征匹配。计算高斯核函数:x为三维空间点,x2为x的模,h为带宽,利用核函数计算当前点偏移均值,最终计算邻域密集点质心,使用质心坐标替代邻域点集从而达到融合点云的效果。
重复所述自第二幅扫描及融合过程,直至扫描结束,获得最终的三维扫描结果。
本发明的目的在于提供一种易于操作、测量准确、快速高效的无人机远程扫描方法。本发明采用无人机作为测量平台,对测量过程中的数据进行实时修正补偿与现有技术在数据处理上存在显著区别,本发明所提出的数据融合方法不仅解决了测量平台的移动问题,还对测量过程中的平台旋转、振动均进行了补偿,并解决了远程运动过程中的空间扫描。丰富的扫描结果对于洞穴研究、坑道救援、地震/火灾等灾难现场重建等应用领域具有重要的实用意义,完整、准确、丰富的三维结果具有重要的应用意义。
本发明方法具有以下优点:
(1)由于本方法使用激光扫描的原理,使用无人机携带激光扫描仪进行远距离全场测量,获得实际地形、地貌的准确三维数据。
(2)由于本方法使用的是无人机平台配合激光扫描仪的方式,所以扫描速度快、扫描精度高。
(3)由于本方法系统需求简单,数据处理软件自动进行分析校正,所以成本相对较低,测量为三维数据,相对现有的无人机测绘等方式所获得的二维图像数据结果更为丰富,测量局限性小,在无人机远程扫描中尤为适用,并为地质探察、灾难援助、国防军事等领域提供了可靠的测量依据。
(4)由于三维数据的数据量大及无人机运动自由度复杂,现有方法多为离线处理,本方法实现了现场数据在线处理,所以在检测过程中测量方便,计算完全自动化,扫描周期较短,大幅度的提高了扫描的效率。
(5)由于本方法使用运动反解和点云特征匹配的方法进行复杂地形的重建,所以测量精度高,精度可以达到3mm/10m。
(6)由于本方法使用的是光学扫描测量的方式,所以是一种非接触的测量方法。
具体实施方式
本实施例是一种无人机远程扫描方法,包括下述步骤:
步骤1:设备安装。
将场站式激光扫描仪与无人机通过连接板进行连接,设置无线通信协议参数,连接测量站与无人远程扫描系统,设备自检通过后,即可开始扫描任务。设备安装要求如下:
连接板为场站式激光扫描仪配套附件,一般不需要订制,通过螺栓结构与无人机进行连接;
无人机与激光扫描仪紧固连接;
使用无线或蓝牙通信方式,通信方式选择根据远程距离决定,具体参数协议按照端口参数及设备参数进行设置;
设备自检,数据可以正确返回。
步骤2:扫描参数的设置。
所述的扫描参数包括无人机的飞行路径和激光扫描仪扫描模式。
通过GPS或路径输入的方式设置无人机的飞行路径。本实施例中,通过路径输入方式设置无人机的飞行路径。
设置激光扫描仪的单幅扫描时间和连接数据传输通道。
本实施例中,所使用的激光扫描仪有效扫描半径为50m,单幅扫描时间为2分钟,则无人机设定速度为5m/s;采用无线布站,信号覆盖半径为1000m,则无人机飞行路径需在半径1000m范围内。
扫描参数的设置要求如下:
无人机飞行速度不应大于扫描仪扫描效率,即无人机所设定飞行速度应小于激光扫描仪额定的有效单幅扫描半径除以所设定的扫描仪单幅扫描时间的二倍:
Va<(Se/Te/2)(1)
其中,Va表示无人机所设定飞行速度,Se表示激光扫描仪额定的有效单幅扫描半径,Te表示所设定的扫描仪单幅扫描时间
无人机所设置的扫描路径不超出现场所使用的无线或蓝牙通信设备所允许的最远通信距离。
步骤3:扫描及数据处理。
启动扫描任务,无人机携带扫描仪进行远程扫描。
扫描中,无人机实时返回的运行速度、位置和姿态,以及扫描仪实时扫描返回的三维点坐标P(x,y,z)。对得到的数据进行运动反解,修正无人机飞行对于三维扫描数据的影响。具体是,设无人机在拍摄过程中的位置改变量为{Tx,Ty,Tz,Rx,Ry,Rz},其中,Tx,Ty,Tz表示相对于x、y、z坐标轴的空间平移量,Rx,Ry,Rz表示x、y、z坐标轴的空间旋转量。根据无人机的位置改变和激光扫描频率,带入矩阵式分别得到激光扫描仪在扫描过程中的无人机空间旋转矩阵R:
和位移矩阵T:
T=[Tx,Ty,Tz] (3)
对每个扫描三维点坐标P进行坐标转换:
Presult=RP+T (4)
其中Presult为修正后的空间点坐标,对所有空间点进行坐标转换后,所获得的完整点云数据即为真实点云数据。
扫描数据处理的要求如下:
无人机速度、位置与扫描仪数据需时间同步。
以本实施例为例,无人机实时返回数据包括数据包时间戳和无人机姿态{Tx,Ty,Tz,Rx,Ry,Rz},带入公式(2~4),得到扫描仪数据点集{Presult}。
步骤4:单幅点云校正。
通过公式(5)已计算完成的点集为现有点云,新计算得到的点集{Presult}为新获取点云。在第一幅扫描中,现有点云为空集;第一幅扫描结束时新获取的点云自动转换成为现有点云。
自第二幅的扫描起,融合点云为现有点云。获取所述的融合点云的方法如下:
计算第二幅扫描中新获取点云与前一幅得到的现有点云之间的重叠区域,根据该点云重叠区域的曲率特征,从新获取点云重叠区域样本集中随机抽选一个样本,即4个匹配点对。通过该样本中的4个匹配点对计算变换矩阵M。
根据新获取点云重叠区域样本集、变换矩阵M和误差度量函数,计算满足当前变换矩阵的一致集consensus,并返回一致集中元素个数。
根据当前一致集中元素个数如大于之前的最大一致集中元素个数时,则将当前一致集更新为最大一致集,同时更新当前错误概率p;若p大于允许的最小错误概率则重复上述步骤继续迭代,直到当前错误概率p小于最小错误概率,得到最优匹配矩阵。
通过所述的最优匹配矩阵将输入点云坐标进行修正,使重叠区域特征匹配。计算高斯核函数:x为三维空间点,x2为x的模,h为带宽,利用核函数计算当前点偏移均值,最终计算邻域密集点质心,使用质心坐标替代邻域点集从而达到融合点云的效果。
重复所述自第二幅扫描及融合过程,直至扫描结束,获得最终的三维扫描结果。
Claims (3)
1.一种基于无人机平台的远程扫描的数据处理方法,其特征在于,具体过程是:
步骤1:设备安装;
步骤2:扫描参数的设置:
所述的扫描参数包括无人机的飞行路径和激光扫描仪扫描模式;
通过GPS或路径输入的方式设置无人机的飞行路径;
设置激光扫描仪的单幅扫描时间和连接数据传输通道;
步骤3:扫描及数据处理:
启动扫描任务,无人机携带扫描仪进行远程扫描;
扫描中,无人机实时返回的运行速度、位置和姿态,以及扫描仪实时扫描返回的三维点坐标P(x,y,z);对得到的数据进行运动反解,修正无人机飞行对于三维扫描数据的影响;
在处理扫描数据时,无人机速度、位置与扫描仪数据需时间同步;
步骤4:单幅点云校正:
进行三维坐标迭代更新,式(1),σs为空域高斯函数的标准差,σr为值域高斯函数的标准差,Ω表示卷积的定义域;
已计算完成的点集为现有点云,新计算得到的点集{Presult}为新获取点云;在第一幅扫描中,现有点云为空集;第一幅扫描结束时新获取的点云自动转换成为现有点云;
自第二幅的扫描起,融合点云为现有点云;获取所述的融合点云的方法如下:
计算第二幅扫描中新获取点云与前一幅得到的现有点云之间的重叠区域,根据该点云重叠区域的曲率特征,从新获取点云重叠区域样本集中随机抽选一个样本,即4个匹配点对;通过该样本中的4个匹配点对计算变换矩阵M;
根据新获取点云重叠区域样本集、变换矩阵M和误差度量函数,计算满足当前变换矩阵的一致集consensus,并返回一致集中元素个数;
根据当前一致集中元素个数如大于之前的最大一致集中元素个数时,则将当前一致集更新为最大一致集,同时更新当前错误概率p;若p大于允许的最小错误概率则重复上述步骤继续迭代,直到当前错误概率p小于最小错误概率,得到最优匹配矩阵;
通过所述的最优匹配矩阵将输入点云坐标进行修正,使重叠区域特征匹配;计算高斯核函数:x为三维空间点,x2为x的模,h为带宽,利用核函数计算当前点偏移均值,最终计算邻域密集点质心,使用质心坐标替代邻域点集从而达到融合点云的效果;
重复所述自第二幅扫描及融合过程,直至扫描结束,获得最终的三维扫描结果。
2.如权利要求1所述基于无人机平台的远程扫描的数据处理方法,其特征在于,
所述设置的扫描参数包括:所设定的无人机飞行速度应小于激光扫描仪额定的有效单幅扫描半径除以所设定的扫描仪单幅扫描时间的二倍:
Va<(Se/Te/2) (2)
其中,Va表示无人机所设定飞行速度,Se表示激光扫描仪额定的有效单幅扫描半径,Te表示所设定的扫描仪单幅扫描时间。
3.如权利要求1所述基于无人机平台的远程扫描的数据处理方法,其特征在于,所述对得到的数据进行运动反解的具体过程是,设无人机在拍摄过程中的位置改变量为{Tx,Ty,Tz,Rx,Ry,Rz},其中,Tx,Ty,Tz表示相对于x、y、z坐标轴的空间平移量,Rx,Ry,Rz表示x、y、z坐标轴的空间旋转量;根据无人机的位置改变和激光扫描频率,带入矩阵式分别得到激光扫描仪在扫描过程中的无人机空间旋转矩阵R:
和位移矩阵T:
T=[Tx,Ty,Tz] (4)
对每个扫描三维点坐标P进行坐标转换:
Presult=RP+T (5)
其中Presult为修正后的空间点坐标,对所有空间点进行坐标转换后,所获得的完整点云数据即为真实点云数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710332021.7A CN107218926B (zh) | 2017-05-12 | 2017-05-12 | 一种基于无人机平台的远程扫描的数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710332021.7A CN107218926B (zh) | 2017-05-12 | 2017-05-12 | 一种基于无人机平台的远程扫描的数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107218926A CN107218926A (zh) | 2017-09-29 |
CN107218926B true CN107218926B (zh) | 2020-04-03 |
Family
ID=59945245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710332021.7A Active CN107218926B (zh) | 2017-05-12 | 2017-05-12 | 一种基于无人机平台的远程扫描的数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107218926B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107990874B (zh) * | 2017-11-23 | 2018-12-25 | 南京中高知识产权股份有限公司 | 一种地面高程三维激光扫描仪和扫描方法 |
CN110335434A (zh) * | 2019-08-14 | 2019-10-15 | 安徽智立通科技股份有限公司 | 一种林业防火用监测系统 |
CN110608721B (zh) * | 2019-09-16 | 2020-11-17 | 湖南大学 | 一种基于无人机的溶洞内部结构探测方法和装置 |
CN113066040B (zh) * | 2019-12-26 | 2022-09-09 | 南京甄视智能科技有限公司 | 基于无人机3d建模的人脸识别设备布设方法 |
CN112378336B (zh) * | 2020-11-13 | 2023-02-17 | 南通中远海运川崎船舶工程有限公司 | 一种基于无人机的舱容测量系统及其测量方法 |
CN112676061A (zh) * | 2020-12-18 | 2021-04-20 | 苏州若依玫信息技术有限公司 | 一种基于无人机的外墙广告喷涂系统及其工作方法 |
CN112754658B (zh) * | 2020-12-31 | 2023-03-14 | 华科精准(北京)医疗科技有限公司 | 一种手术导航系统 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103426165A (zh) * | 2013-06-28 | 2013-12-04 | 吴立新 | 一种地面激光点云与无人机影像重建点云的精配准方法 |
CN103535961A (zh) * | 2013-10-08 | 2014-01-29 | 周海峰 | 车载三维数据采集移动平台 |
KR101563078B1 (ko) * | 2014-01-29 | 2015-10-23 | 주식회사 포스코아이씨티 | 미션 블록을 이용한 무인항공 시스템 및 이를 이용하는 방법 |
CN104766302B (zh) * | 2015-02-05 | 2017-11-24 | 武汉大势智慧科技有限公司 | 一种利用无人机图像优化激光扫描点云数据的方法及系统 |
EP3265885A4 (en) * | 2015-03-03 | 2018-08-29 | Prenav Inc. | Scanning environments and tracking unmanned aerial vehicles |
CN104992467B (zh) * | 2015-07-20 | 2018-08-21 | 四川隧唐科技股份有限公司 | 无人机辅助车载道路采集三维建模系统及其实现方法 |
CN105211034B (zh) * | 2015-08-31 | 2017-10-27 | 南京林业大学 | 一种车载式林木三维彩色成像对靶喷雾方法 |
CN105547288A (zh) * | 2015-12-08 | 2016-05-04 | 华中科技大学 | 一种煤矿井下移动设备自主定位的方法及系统 |
CN105547255B (zh) * | 2016-02-29 | 2018-03-20 | 北京矿冶研究总院 | 一种扫描仪自主获取矿山坐标系下三维空间形态的方法 |
-
2017
- 2017-05-12 CN CN201710332021.7A patent/CN107218926B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107218926A (zh) | 2017-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107218926B (zh) | 一种基于无人机平台的远程扫描的数据处理方法 | |
KR102015388B1 (ko) | 무인항공기와 지상용 3d라이다스캐너를 활용한 정사영상 3차원 포인트클라우드 db 구축기반 가상현실 공간 맵 제공시스템 및 제공방법 | |
CN109579843B (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
CN109358650B (zh) | 巡检路径规划方法、装置、无人机和计算机可读存储介质 | |
KR101793509B1 (ko) | 작물 모니터링을 위하여 무인 비행체의 자동 경로 산정을 통한 원격 관측 방법 및 그 시스템 | |
KR101945019B1 (ko) | 농작물 재배분포 영상 획득을 위한 무인비행체 군집비행 시스템 및 그 방법 | |
CN108710140B (zh) | 固定基准站的位置坐标校正方法及系统、改进型rtk快速测量方法及系统 | |
CN109471447A (zh) | 无人机导航方法、装置、无人机和数据可读存储装置 | |
CN109945871B (zh) | 一种通信带宽与距离受限情况下的多无人平台同步定位与地图构建方法 | |
CN111951398A (zh) | 基于无人机倾斜影像技术的智能放样施工方法 | |
CN106647804A (zh) | 一种自动巡检方法及系统 | |
CN104335649A (zh) | 基于图像匹配的确定智能手机位置和姿态的方法和系统 | |
JP2016045330A (ja) | 3次元点群データの位置合わせ方法と装置及びその移動体システム | |
CN113238576A (zh) | 用于无人机的定位方法以及相关装置 | |
CN113763548B (zh) | 基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统 | |
CN109883398A (zh) | 基于无人机倾斜摄影的植株绿量提取的系统及方法 | |
CN110389369A (zh) | 基于rtk-gps和移动二维激光扫描的冠层点云获取方法 | |
CN112991440B (zh) | 车辆的定位方法和装置、存储介质和电子装置 | |
CN115031723B (zh) | 一种uwb定位精度提升方法 | |
Ismael et al. | Accuracy assessment of UAV photogrammetry for large scale topographic mapping | |
CN112098926B (zh) | 一种利用无人机平台的智能测角训练样本生成方法 | |
KR102169512B1 (ko) | Uav 및 rfid를 이용한 위치정보 추정 시스템 및 방법 | |
Del Pizzo et al. | A Vision-based navigation system for landing procedure | |
CN110308436B (zh) | 一种多线激光扫描仪的激光光轴标校方法及系统 | |
Batzdorfer et al. | Multisensor equipped UAV/UGV for automated exploration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |