CN109902686B - 一种森林单木参数提取方法 - Google Patents
一种森林单木参数提取方法 Download PDFInfo
- Publication number
- CN109902686B CN109902686B CN201910056834.7A CN201910056834A CN109902686B CN 109902686 B CN109902686 B CN 109902686B CN 201910056834 A CN201910056834 A CN 201910056834A CN 109902686 B CN109902686 B CN 109902686B
- Authority
- CN
- China
- Prior art keywords
- forest
- tree
- segmentation
- chm
- segmentation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明涉及一种森林单木参数提取方法,其特征在于包括以下步骤:1)提取森林的激光雷达波形数据的特征参数;2)得到森林的三维点云数据以及高斯分解后激光雷达波形数据的脉冲宽度和强度;3)得到辐射定标校正后森林的三维点云数据以及辐射定标校正后激光雷达波形数据的脉冲宽度和强度;4)对森林进行单木分割,得到森林的单木分割结果;5)根据激光雷达波形数据的特征参数、辐射定标校正后森林的三维点云数据以及辐射定标校正后激光雷达波形数据的脉冲宽度和强度,对单木分割结果进行参数提取,得到森林中每一单木的单木参数,本发明可以广泛应用于激光雷达领域中。
Description
技术领域
本发明是关于一种森林单木参数提取方法,属于激光雷达领域。
背景技术
机载激光雷达测量方法(lidar)是当今测绘业界先进的遥感测量手段,是继GPS空间定位系统后又一项测绘方法新突破。自20世纪60年代末世界第一部激光雷达诞生以来,机载激光雷达方法作为一种重要的航空遥感方法,与成像光谱、成像雷达共同被誉为对地观测三大核心方法。迄今为止,机载激光雷达的研究与应用均取得了相当大的进展,已成为航空遥感领域主流之一,在测绘、电力、水文、林业等领域得到了广泛的应用。与传统的摄影测量方法相比,激光雷达方法生成的三维信息更快、更准确,特别是具有穿透地表覆盖的森林植被快速获取森林冠层结构和地形信息的能力,具有其他方法无可比拟的优势,在森林生态的研究中具有重要意义。
目前在林业应用上的机载激光雷达主要有两类:记录完整波形数据的激光雷达和记录离散点云数据的激光雷达。相对于传统的离散激光雷达波形数据,波形数据通过对发射脉冲与目标相互作用后的回波信号进行高密度数字采样,获取反射信号按时间先后的振幅信息记录,从而形成较为完整的波形剖面。对于林区而言,光斑内往往是由多个树冠层、下层灌木、植被、地表组成的复杂垂直结构,仅记录点云数据的激光雷达系统由于受到垂直分辨率的局限,会损失部分来自目标的后向散射信号,在一定程度上影响了利用激光雷达波形数据进行单木参数提取的效果。激光雷达波形数据的波形记录了包括较小能量信号在内的所有回波信号,通过对波形数据进行处理,能够检测到更多的目标物特征信息,波形数据转换后可以得到更高密度的点云数据,特别是在森林地区更多数量的点云数据可以更为准确地刻画林木的结构特征信息。而波形数据处理后获取的属性信息也在一定程度上反映了不同的立地类型和林木特征信息,这对进一步的分析如森林结构参数提取、树种分类等研究是十分重要的。
自激光雷达方法在林业上开始应用,针对激光雷达波形数据的单木分割和参数提取就一直是其研究的热点,上世纪90年代就开始了基于激光雷达波形数据单木分割和参数估测的研究。目前,单木识别的方法主要是基于冠层高度模型的分割方法和基于三维点云数据的分割方法,其中,基于冠层高度模型(Canopy Height Model,CHM)图像的单木分割方法能够很好地利用数字图像处理中较为成熟的算法,同时图像处理中也积累了相对成熟的大数据处理和分析方法,只要根据CHM图像特点进行一定的改进,就可以进行单木识别,进而进行单木参数的提取,极大的降低数据量和计算量,具有处理速度快,能够快速准确识别大部分优势木的特点。但是CHM图像的产生是通过对点云数据的插值生成的,会引入一些空间上的不确定性误差源,降低单木识别和相关参数提取的精度,同时,基于CHM图像的单木分割方法不能充分利用激光雷达提供的三维空间信息,此外,CHM主要代表了上层林木的信息,基本上不能够识别被压木。基于三维点云数据的分割方法是直接利用三维点云数据,而不是将三维点云数据转换成栅格图像的处理方法,在CHM图像提取出的种子点基础上,采用K-均值聚类的方法从原始点云数据中提取单木,使用直接基于三维点云数据进行分割的方法避免了数据转换带来的误差,充分利用了三维点云数据的空间特征信息,能够在一定程度上提高下层林的识别率,有利于提取更多的森林结构参数,是目前单木分割研究的热点。但是基于三维点云数据的分割方法需要大量的操作和计算,速度偏慢,针对大数据量缺乏必要的解决方案,很难在大范围进行推广使用。
发明内容
针对上述问题,本发明的目的是提供一种能够提高单木识别和相关参数提取精度以及能够在大范围进行推广使用的森林单木参数提取方法。
为实现上述目的,本发明采取以下技术方案:一种森林单木参数提取方法,其特征在于包括以下步骤:1)提取森林的激光雷达波形数据的特征参数;2)采用高斯分解方法,对森林的激光雷达波形数据进行点云化处理,得到森林的三维点云数据以及高斯分解后激光雷达波形数据的脉冲宽度和强度;3)对森林的三维点云数据以及高斯分解后激光雷达波形数据的脉冲宽度和强度进行辐射定标校正,得到辐射定标校正后森林的三维点云数据以及辐射定标校正后激光雷达波形数据的脉冲宽度和强度;4)根据辐射定标校正后森林的三维点云数据、辐射定标校正后激光雷达波形数据的脉冲宽度和强度以及实际测量的森林单木点云数据,对森林进行单木分割,得到森林的单木分割结果;5)根据激光雷达波形数据的特征参数、辐射定标校正后森林的三维点云数据以及辐射定标校正后激光雷达波形数据的脉冲宽度和强度,对单木分割结果进行参数提取,得到森林中每一单木的单木参数。
优选地,所述激光雷达波形数据的特征参数包括激光雷达波形数据的前沿、后沿和半能量高度。
优选地,所述步骤4)的具体过程为:4.1)采用基于CHM图像的单木分割方法,对辐射定标校正后森林的三维点云数据进行初步分割,得到森林的CHM分割结果;4.2)采用大数据处理方法,根据辐射定标校正后激光雷达波形数据的脉冲宽度和强度以及实际测量的森林单木点云数据,对森林的CHM分割结果进行特征判别,若CHM分割结果中存在错误分割和/或漏分,则进入步骤4.3);若CHM分割结果中不存在错误分割和/或漏分,则CHM分割结果即为森林的单木分割结果,进入步骤5);4.3)采用基于三维点云数据的分割方法,对CHM分割结果中的错误分割和/或漏分进行点云直接分割,得到森林的单木分割结果。
优选地,所述步骤4.2)的具体过程为:4.2.1)构建CHM分割结果的判别特征:若CHM分割结果中某一树木被正确分割,记为该树木被正确分割;若CHM分割结果中某一树木未被分割,记为该树木被漏分;若CHM分割结果中某一树木被错误分割,记为该树木被错误分割;4.2.2)根据辐射定标校正后激光雷达波形数据的脉冲宽度和强度,识别CHM分割结果中树木的树种信息;4.2.3)采用大数据处理方法,根据识别的树种信息以及构建的判别特征,将CHM分割结果与实际测量的森林单木点云数据进行比较,得到CHM分割结果中各树木的特征判别结果;4.2.4)根据CHM分割结果中各树木的特征判别结果,判断CHM分割结果中是否存在错误分割和/或漏分,若CHM分割结果中存在错误分割和/或漏分,则进入步骤4.3);若CHM分割结果中不存在错误分割和/或漏分,则CHM分割结果即为森林的单木分割结果,进入步骤5)。
优选地,所述CHM分割结果中各树木的特征判别结果包括分割得到的树木总数、正确分割的棵数、错误分割的棵数以及漏分的棵数。
优选地,所述基于CHM图像的单木分割方法采用标记分水岭分割算法。
优选地,所述基于三维点云数据的分割方法采用点云直接分割算法。
优选地,所述单木参数包括单木的树种、树种组的分类和冠层分布。
本发明由于采取以上技术方案,其具有以下优点:本发明将基于CHM图像的单木分割方法与基于三维点云数据的分割方法相结合,能够充分反映冠层信息的优点,首次分割针对CHM分割结果,再分割结合三维点云数据,能够提高单木参数提取的速度和精度,可以广泛应用于森林结构参数提取领域中。
附图说明
图1是本发明方法的流程图。
具体实施方式
以下结合附图来对本发明进行详细的描绘。然而应当理解,附图的提供仅为了更好地理解本发明,它们不应该理解成对本发明的限制。
如图1所示,本发明提供的森林单木参数提取方法,包括以下步骤:
1)提取森林的激光雷达波形数据的特征参数,其中,激光雷达波形数据的特征参数包括激光雷达波形数据的前沿、后沿和半能量高度等。
激光雷达波形数据为根据激光雷达扫描仪记录的激光脉冲从发射到返回接收器的时间差,得到被测物体与激光雷达扫描仪之间的距离,并结合GPS(全球定位系统)和IMU(惯性测量装置)获取的被测物体的空间三维坐标,得到被测物体的激光雷达波形数据,其中的每一点均包含X、Y和Z坐标以及强度等信息。
2)采用高斯分解方法,对激光雷达波形数据进行点云化处理,得到森林的三维点云数据以及高斯分解后激光雷达波形数据的脉冲宽度和强度,其中,高斯分解后激光雷达波形数据的脉冲宽度是指高斯分解后高斯函数的方差信息,高斯分解后激光雷达波形数据的强度是指激光雷达的反射信息。可以采用现有技术公开的提取方法,例如大光斑波形数据的处理方法,具体过程在此不再赘述。
3)对森林的三维点云数据以及高斯分解后激光雷达波形数据的脉冲宽度和强度进行辐射定标校正,得到辐射定标校正后森林的三维点云数据以及辐射定标校正后激光雷达波形数据的脉冲宽度和强度,其中,辐射定标校正可以采用现有技术公开的辐射定标校正方法,具体过程在此不多做赘述。
4)根据辐射定标校正后森林的三维点云数据、辐射定标校正后激光雷达波形数据的脉冲宽度和强度以及实际测量的森林单木点云数据,对森林进行单木分割,得到森林的单木分割结果,具体为:
4.1)采用基于CHM图像的单木分割方法,对辐射定标校正后森林的三维点云数据进行初步分割,得到森林的CHM分割结果,其中,CHM图像的单木分割方法可以采用现有技术公开的单木分割方法例如标记分水岭分割算法,具体过程在此不再赘述。
4.2)采用大数据处理方法例如八叉树和格网的混合索引方法,根据辐射定标校正后激光雷达波形数据的脉冲宽度和强度以及实际测量的森林单木点云数据,对森林的CHM分割结果进行特征判别,若CHM分割结果中存在错误分割和/或漏分,则进入步骤4.3);若CHM分割结果中不存在错误分割和/或漏分,即CHM分割结果为正确分割,则CHM分割结果即为森林的单木分割结果,进入步骤5)。
4.2.1)构建CHM分割结果的判别特征:若CHM分割结果中某一树木被正确分割,记为该树木被正确分割TP(True Positive);若CHM分割结果中某一树木未被分割,记为该树木被漏分FN(False Negative);若CHM分割结果中某一树木被错误分割,记为该树木被错误分割FP(False Positive)。
4.2.2)根据辐射定标校正后激光雷达波形数据的脉冲宽度和强度,识别CHM分割结果中各树木的树种信息。
4.2.3)采用大数据处理方法,根据识别的树种信息以及构建的判别特征,将CHM分割结果与实际测量的森林单木点云数据进行比较,得到CHM分割结果中各树木的特征判别结果,包括分割得到的树木总数、正确分割的棵数TP、错误分割的棵数FP以及漏分的棵数FN等,分别计算得到CHM分割结果的评价指标:树木的检测率r、树木分割的正确率p以及总体精度F:
4.2.4)根据CHM分割结果中各树木的特征判别结果,判断CHM分割结果中是否存在错误分割和/或漏分,若CHM分割结果中存在错误分割和/或漏分,则进入步骤4.3);若CHM分割结果中不存在错误分割和/或漏分,则CHM分割结果即为森林的单木分割结果,进入步骤5)。
4.3)采用基于三维点云数据的分割方法,根据各树木的特征判别结果,对CHM分割结果中的错误分割和/或漏分树木进行点云直接分割,得到森林的单木分割结果,其中,基于三维点云数据的分割方法可以采用现有技术公开的方法例如PCS(Point CloudSegmentation,点云直接分割)算法,具体过程在此不多做赘述。
5)根据激光雷达波形数据的特征参数、辐射定标校正后森林的三维点云数据以及辐射定标校正后激光雷达波形数据的脉冲宽度和强度,对单木分割结果进行参数提取,得到森林中每一单木的树种、树种组的分类和冠层分布等单木参数,其中,对单木分割结果进行参数提取可以采用现有技术公开的参数提取方法,具体过程在此不多做赘述。
在一个优选的实施例中,得到森林中每一单木的单木参数后,还可以根据外业数据,对得到的单木参数进行验证,得到单木参数提取的精度,具体为:
通过将单木分割结果与外业数据即实际测量得到的单木分割结果进行对比,从而验证单木参数提取的精度,其中,外业数据主要是每木检尺结果,进行每木调查,起测直径为5cm,调查因子包括单木的中心位置、坡度、坡向、树种、郁闭度以及单木的树高、枝下高、东西和南北方向的冠幅等。单木的胸径采用胸径围尺进行测量,单木的树高和枝下高采用激光测高仪进行测量,单木东西和南北方向的冠幅采用皮尺进行测量,单木的坡度、坡向采用指南针进行测量,单木的郁闭度采用传统的望天法进行估计,单木的中心位置获取采用差分全球定位系统。在验证过程中,如果分离得到单木树冠范围内存在一个实测的单木且树高相差不大,则将其认为是合理的匹配结果,如果相差一般超过树高的20%,则扩大搜索范围,选择树高较为接近且与离估测的位置最近的实测单木作为匹配结果;如果树冠边界范围内存在多个实测的单木且树高最大的与估测结果接近,则选择其为匹配结果,反之则扩大搜索范围选择树高较为接近且与估测的位置最近的实测单株木作为匹配结果。
上述各实施例仅用于说明本发明,其中各部件的结构、连接方式和制作工艺等都是可以有所变化的,凡是在本发明技术方案的基础上进行的等同变换和改进,均不应排除在本发明的保护范围之外。
Claims (7)
1.一种森林单木参数提取方法,其特征在于包括以下步骤:
1)提取森林的激光雷达波形数据的特征参数;
2)采用高斯分解方法,对森林的激光雷达波形数据进行点云化处理,得到森林的三维点云数据以及高斯分解后激光雷达波形数据的脉冲宽度和强度;
3)对森林的三维点云数据以及高斯分解后激光雷达波形数据的脉冲宽度和强度进行辐射定标校正,得到辐射定标校正后森林的三维点云数据以及辐射定标校正后激光雷达波形数据的脉冲宽度和强度;
4)根据辐射定标校正后森林的三维点云数据、辐射定标校正后激光雷达波形数据的脉冲宽度和强度以及实际测量的森林单木点云数据,对森林进行单木分割,得到森林的单木分割结果,具体过程为:
4.1)采用基于CHM图像的单木分割方法,对辐射定标校正后森林的三维点云数据进行初步分割,得到森林的CHM分割结果;
4.2)采用大数据处理方法,根据辐射定标校正后激光雷达波形数据的脉冲宽度和强度以及实际测量的森林单木点云数据,对森林的CHM分割结果进行特征判别,若CHM分割结果中存在错误分割和/或漏分,则进入步骤4.3);若CHM分割结果中不存在错误分割和/或漏分,则CHM分割结果即为森林的单木分割结果,进入步骤5);
4.3)采用基于三维点云数据的分割方法,对CHM分割结果中的错误分割和/或漏分进行点云直接分割,得到森林的单木分割结果;
5)根据激光雷达波形数据的特征参数、辐射定标校正后森林的三维点云数据以及辐射定标校正后激光雷达波形数据的脉冲宽度和强度,对单木分割结果进行参数提取,得到森林中每一单木的单木参数。
2.如权利要求1所述的一种森林单木参数提取方法,其特征在于,所述激光雷达波形数据的特征参数包括激光雷达波形数据的前沿、后沿和半能量高度。
3.如权利要求1所述的一种森林单木参数提取方法,其特征在于,所述步骤4.2)的具体过程为:
4.2.1)构建CHM分割结果的判别特征:若CHM分割结果中某一树木被正确分割,记为该树木被正确分割;若CHM分割结果中某一树木未被分割,记为该树木被漏分;若CHM分割结果中某一树木被错误分割,记为该树木被错误分割;
4.2.2)根据辐射定标校正后激光雷达波形数据的脉冲宽度和强度,识别CHM分割结果中树木的树种信息;
4.2.3)采用大数据处理方法,根据识别的树种信息以及构建的判别特征,将CHM分割结果与实际测量的森林单木点云数据进行比较,得到CHM分割结果中各树木的特征判别结果;
4.2.4)根据CHM分割结果中各树木的特征判别结果,判断CHM分割结果中是否存在错误分割和/或漏分,若CHM分割结果中存在错误分割和/或漏分,则进入步骤4.3);若CHM分割结果中不存在错误分割和/或漏分,则CHM分割结果即为森林的单木分割结果,进入步骤5)。
4.如权利要求3所述的一种森林单木参数提取方法,其特征在于,所述CHM分割结果中各树木的特征判别结果包括分割得到的树木总数、正确分割的棵数、错误分割的棵数以及漏分的棵数。
5.如权利要求1所述的一种森林单木参数提取方法,其特征在于,所述基于CHM图像的单木分割方法采用标记分水岭分割算法。
6.如权利要求1所述的一种森林单木参数提取方法,其特征在于,所述基于三维点云数据的分割方法采用点云直接分割算法。
7.如权利要求1至6任一项所述的一种森林单木参数提取方法,其特征在于,所述单木参数包括单木的树种、树种组的分类和冠层分布。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910056834.7A CN109902686B (zh) | 2019-01-22 | 2019-01-22 | 一种森林单木参数提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910056834.7A CN109902686B (zh) | 2019-01-22 | 2019-01-22 | 一种森林单木参数提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109902686A CN109902686A (zh) | 2019-06-18 |
CN109902686B true CN109902686B (zh) | 2021-01-15 |
Family
ID=66943931
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910056834.7A Active CN109902686B (zh) | 2019-01-22 | 2019-01-22 | 一种森林单木参数提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109902686B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222917B (zh) * | 2021-04-29 | 2022-06-14 | 桂林理工大学 | 机载激光雷达点云数据chm的dbi树顶点探测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102419818A (zh) * | 2011-10-28 | 2012-04-18 | 中国林业科学研究院资源信息研究所 | 结合形态学冠层控制和分水岭的LiDAR数据单木提取方法 |
CN107274417A (zh) * | 2017-07-05 | 2017-10-20 | 电子科技大学 | 一种基于机载激光点云聚集关系的单木分割方法 |
CN107368813A (zh) * | 2017-07-23 | 2017-11-21 | 北京林业大学 | 一种应用于机载近地高光谱影像的林木冠幅识别方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8275547B2 (en) * | 2009-09-30 | 2012-09-25 | Utility Risk Management Corporation, Llc | Method and system for locating a stem of a target tree |
CN102393180B (zh) * | 2011-10-19 | 2013-09-04 | 中国林业科学研究院资源信息研究所 | 一种从LiDAR点云数据中自动提取林分上层树木参数的方法 |
CN104155638B (zh) * | 2014-06-11 | 2016-05-18 | 南京林业大学 | 一种基于LiDAR伪垂直波形模型的树种分类方法 |
CN106407898B (zh) * | 2016-08-29 | 2019-04-16 | 中国林业科学研究院资源信息研究所 | 一种激光雷达单木分块识别方法 |
CN109031344B (zh) * | 2018-08-01 | 2020-11-10 | 南京林业大学 | 一种全波形激光雷达和高光谱数据联合反演森林结构参数的方法 |
-
2019
- 2019-01-22 CN CN201910056834.7A patent/CN109902686B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102419818A (zh) * | 2011-10-28 | 2012-04-18 | 中国林业科学研究院资源信息研究所 | 结合形态学冠层控制和分水岭的LiDAR数据单木提取方法 |
CN107274417A (zh) * | 2017-07-05 | 2017-10-20 | 电子科技大学 | 一种基于机载激光点云聚集关系的单木分割方法 |
CN107368813A (zh) * | 2017-07-23 | 2017-11-21 | 北京林业大学 | 一种应用于机载近地高光谱影像的林木冠幅识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109902686A (zh) | 2019-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | A new method for segmenting individual trees from the lidar point cloud | |
Huang et al. | Automated methods for measuring DBH and tree heights with a commercial scanning lidar | |
Yu et al. | Change detection techniques for canopy height growth measurements using airborne laser scanner data | |
CN109031344B (zh) | 一种全波形激光雷达和高光谱数据联合反演森林结构参数的方法 | |
US8306941B2 (en) | System and method for identifying trees using LiDAR tree models | |
CN106845399B (zh) | 一种使用分层聚类方式从LiDAR点云中提取单木信息的方法 | |
FI112402B (fi) | Menetelmä puustotunnusten määrittämiseksi sekä tietokoneohjelma menetelmän suorittamiseksi | |
CN107085710B (zh) | 一种基于多光谱LiDAR数据的单木自动提取方法 | |
CN114463403A (zh) | 一种基于点云数据和图像识别技术的树木碳汇量计算方法 | |
CN112381861A (zh) | 一种基于地基激光雷达的林地点云数据配准和分割方法 | |
CN108896021B (zh) | 基于航空摄影测量点云提取人工林林分结构参数的方法 | |
Liang et al. | Deciduous-coniferous tree classification using difference between first and last pulse laser signatures | |
Pirotti et al. | A comparison of tree segmentation methods using very high density airborne laser scanner data | |
Li et al. | Enhanced automatic root recognition and localization in GPR images through a YOLOv4-based deep learning approach | |
KR101080985B1 (ko) | 항공 라이다 성과를 이용한 수고 및 개체 수 확인방법 | |
CN109948106B (zh) | 一种利用激光点云计算林分高度累计百分比的方法 | |
CN105866792B (zh) | 一种星载激光雷达树高提取方法 | |
Itakura et al. | Estimating tree structural parameters via automatic tree segmentation from LiDAR point cloud data | |
Sun et al. | Retrieval and accuracy assessment of tree and stand parameters for Chinese fir plantation using terrestrial laser scanning | |
CN109902686B (zh) | 一种森林单木参数提取方法 | |
Wang et al. | A wavelet-based echo detector for waveform LiDAR data | |
CN117197677A (zh) | 一种基于激光雷达点云数据的热带雨林乔灌分离方法 | |
Zhu et al. | Research on deep learning individual tree segmentation method coupling RetinaNet and point cloud clustering | |
Hyyppä et al. | Forest inventory using laser scanning | |
CN114862872A (zh) | 一种基于Faster R-CNN的红树林单木分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |