CN113256588B - 露天矿无人驾驶中的排土场及排土边缘线实时更新方法 - Google Patents
露天矿无人驾驶中的排土场及排土边缘线实时更新方法 Download PDFInfo
- Publication number
- CN113256588B CN113256588B CN202110603480.0A CN202110603480A CN113256588B CN 113256588 B CN113256588 B CN 113256588B CN 202110603480 A CN202110603480 A CN 202110603480A CN 113256588 B CN113256588 B CN 113256588B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- dump
- point
- strip mine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Abstract
一种露天矿无人驾驶中的排土场及排土边缘线实时更新方法,首先采用三维激光雷达采集露天矿排土场周边点云数据,然后运用一种保留露天矿排土场排土边缘区域特征的简化算法完成了对排土场点云数据的简化工作,之后对于简化之后的点云数据采用软件进行建模,再通过对排土场点云数据是否发生变动即排土场模型是否需要更新做判断,最后通过对模型局部变动区域的更新完成对露天矿排土场模型的更新。与此同时运用排土边缘空间区域分割法筛选出排土边缘区域点云数据,再运用三维点云数据拟合的方法提取了对于无人驾驶运输过程中重要的GPS排土点集。本发明结合矿山真实环境,能极大地提升无人矿车在排土场周边作业的安全性及高效性。
Description
技术领域
本发明属于矿山无人驾驶以及数据处理技术领域,特别涉及一种露天矿无人驾驶中的排土场及排土边缘线实时更新方法。
背景技术
露天矿排土场运输作为矿区运输中重要的运输区域,在矿区运输中占据着重要的地位。由于排土场中排土边缘线处于不断更新变化中,尤其是对于无人驾驶而言,矿石和废石运输都是依靠矿用自卸车沿运输道路行驶完成的,对于排土场周围环境及排土边缘线的实时感知及更新直接关系到矿山运输中的排土安全问题。
三维激光雷达在环境感知中起着至关重要的作用,并具有检测距离远、精度高、受环境影响小等特点。三维激光雷达可以提供足够的环境信息,并可以满足实时性要求,具有重要的理论研究价值和工程价值。但由于三维激光扫描技术会产生大量密集的点云数据,点云数据建模过程十分耗时,制约了无人驾驶运输过程中的排土场更新的实时性要求。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种露天矿无人驾驶中的排土场及排土边缘线实时更新方法,基于保留排土边缘区域特征的露天矿排土场点云简化,实现排土场点云数据高精度简化,最终满足无人驾驶运输中的排土场及排土边缘线更新要求,极大地提升无人矿车在排土场周边作业的安全性及高效性。
为了实现上述目的,本发明采用的技术方案是:
一种露天矿无人驾驶中的排土场及排土边缘线实时更新方法,包括:
步骤1,将三维激光雷达安装于露天矿排土场附近,采集露天矿排土场周边环境点云数据;
步骤2,对获取到的点云数据,采用保留露天矿排土场排土边缘区域特征的简化方法进行简化,并利用简化之后的点云数据建立露天矿排土场模型;
步骤3,定期对露天矿排土场点云数据进行对比,判断露天矿排土场模型是否需要更新;
步骤4,当判断需要更新时,对露天矿排土场模型进行更新。
步骤5,对露天矿排土场排土边缘线进行更新。
与现有技术相比,本发明结合矿山真实环境,在简化排土线周围环境的同时,保留了排土场排土线高精度特征,采用局部变动区域更新策略,极大地缩减了点云模型构建时间。同时运用排土边缘空间区域分割法筛选出排土边缘区域点云数据,再运用三维点云数据拟合的方法提取了对于无人驾驶运输过程中重要的GPS排土点集,满足无人运输排土作业中排土场及排土边缘线实时更新要求。
附图说明
图1是本发明露天矿排土场及排土边缘线实时更新方法的主要流程。
图2是本发明排土边缘点及其邻近点的投影。
图3是本发明排土边缘空间区域分割法提取边缘区域的效果图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
如图1所示,本发明一种用于露天矿无人驾驶运输过程中的排土场和排土边缘线实时更新方法,包括如下步骤:
步骤1:将三维激光雷达安装于距离露天矿排土场较近的位置,采用三维激光雷达采集露天矿排土场周边环境点云数据。
步骤2:对获取到的点云数据采用保留露天矿排土场排土边缘区域特征的简化方法,利用简化之后的点云数据建立露天矿排土场模型。具体包括:
步骤2.1)采用kd-tree建立点云数据之间的拓扑关系,获取点云数据之间的k个邻近点。
步骤2.1)根据得到的各个点云数据的k个邻近点建立局部曲面,采用PCA方法估计曲面的法向量及特征点,主要方法如下:
给定点云数据集P={p1,p2,...,pi,...,pn},其中n为点云总数),对于第i点云pi,pi的邻近点云记为pm∈Nb(pi),Nb(pi)表示离pi最近的k个点云,pi周围邻近点均值为点云pi的协方差矩阵定义为:
协方差矩阵Ci定义了由点云pi和其临近点云pm组成的局部曲面的几何信息,由于协方差矩阵Ci为对称半正定矩阵,其存在三个实数特征值,设三个特征值分别为:λ1,λ2,λ3(假设λ1≤λ2≤λ3),三个特征值对应的特征向量分别v1,v2,v3;v2和v3组成pi处的最小二乘拟合平面,v1点云pi和其临近点云pm组成的局部曲面的法向量。
最小特征值λ1表示点沿着曲面法矢的变化情况,因此可以利用各点云数据的最小特征值的变化来估计高曲率区域,点云pi的曲面变化表示为:
ωi=0时,pi为平面点,ωi值越大,曲面越弯曲,据此可根据ωi值判断点pi是否处于高曲率区域,如果ωi大于给定阈值f,则表示点pi处于高曲率区域,称为特征点,否则为非特征点。
步骤2.3)综合露天矿排土场周围环境特点,利用点云及周围点云数据的分布均匀性来判断排土边缘点,筛选出排土边缘点,具体如图2所示,主要有以下4步:
1)设点云p为点云数据中的某一点云,由点云p及点云p的邻近点,计算出p点的法向量,然后构造最小二乘平面T;
2)将点云p及其邻近点投影到最小二乘平面T上;
3)过点云p作平行于xoy,xoz,yoz的平面,并计算出位于三个平面两侧的点云数量;
4)若位于平面两侧的点云点数之差占邻近点云总数的比例大于或等于特定值w,该点即为排土边缘点,否则判定其为非排土边缘点。
步骤2.4)保留所有排土边缘点,为反映露天矿排土场真实场景,对非排土边缘点采用曲面变化进行点云数据简化。具体为保留步骤2.3计算出来的排土边缘点,对于非排土边缘区域的点根据步骤2.2中点云pi的曲面变化判断出特征点和非特征点;对于判断出的特征点进行保留,非特征点根据其k近邻个数的比例进行简化。
步骤2.5)运用Geomagic Studio软件对排土边缘点和进行点云数据简化之后的非排土边缘点进行建模,获得露天矿排土场模型。
步骤3:定期对露天矿排土场点云数据进行对比,进而判断模型是否需要更新。具体包括:
步骤3.1)将露天矿点云数据进行经纬度区域划分,具体为将点云数据根据经纬度划分为一定数量(如10000个)的小区块,每个区块中包含相同数量的点云数据;
步骤3.3)判断变动区块数量,最终得出是否需要更新。
按照步骤3.2)计算出变动区块之后,得到变动区块数量,存在以下情况之一则判定模型需要更新:①变动区块的数量占总区块数量的1/20;②变动区块存在四个及以上区块连续。
步骤4:对露天矿排土场模型更新
步骤4.1)通过对步骤3.2中的变动区块进行建模,从而生成模型更新所需的变动区块补丁。具体为运用Geomagic Studio软件可将变动区块点云数据进行建模,生成变动区块模型,将该区块模型称之为变动区块补丁。
步骤4.2)将步骤4.1中生成的区块补丁与需要更新的模型进行融合,具体方法为将生成的补丁替换模型中变动的区域,完成模型的实时更新。
步骤5:对露天矿排土场排土边缘线更新
步骤5.1)排土场点云数据排土边缘空间区域分割;
通过对排土场区域进行GPS坐标点采集,获取得到露天矿排土平面的平均高度z(m),划分出[z-1,z-0.5](m)高度区间内的点云数据,再将区间内的点云数据按照其经度(X)均匀地划分为若干份(以100份为例,x1,x2,...,x100),并求出其每个区间内纬度(Y)的平均值再将整体点云数据按照100个区间进行划分,注意此处的α根据实际情况进行取值,最终得到边缘线点云区域,该区域以上区域划分为排土场平面,该区域以下区域划分为排土坡区域,如图3为效果示意图。
步骤5.2)运用数学三维数据拟合方法将排土边缘区域内的三维(GPS)点云数据拟合成空间的一条曲线,该曲线融合了对三维排土边缘点的主要点云数据,从而该曲线可表示为排土边缘线。
步骤5.3)运用经空间纬度关系将露天矿排土边缘线曲线转换为空间的GPS轨迹坐标点集,以供露天矿无人车排土作业。
再次参考图1,露天矿排土场模型实时更新的主要流程可表述如下:
(1)对露天矿排土场周边环境采用三维激光雷达进行点云数据实时采集;
(2)每次采集到的点云数据采用保留排土边缘线的点云简化方法进行实时简化;
(3)将首次采集到的数据采用软件进行建模,获得露天矿排土场模型;
(4)定期对露天矿排土场点云数据进行对比,进而判断模型是否需要更新;
(5)若点云数据未发生变动,则露天矿排土场模型不更新;
(6)若点云数据发生变动,则计算出变动区域点云数据,同时利用变动区域数据进行建模,生成模型更新所需的变动区块补丁,将生成的区块补丁与需要更新的模型进行融合,更新露天矿排土场模型;
(7)同时采用边缘空间区域分割方法对排土边缘区域进行区域分割,通过排土边缘分割区域的点云数据进行三维点云数据拟合,拟合出无人驾驶运输过程中重要的GPS排土点集。
重复步骤(4)~(7),实现露天矿排土场模型及排土边缘线的实时更新。
Claims (9)
1.一种露天矿无人驾驶中的排土场及排土边缘线实时更新方法,包括:
步骤1,将三维激光雷达安装于露天矿排土场附近,采集露天矿排土场周边环境点云数据;
步骤2,对获取到的点云数据,采用保留露天矿排土场排土边缘区域特征的简化方法进行简化,并利用简化之后的点云数据建立露天矿排土场模型;
步骤3,定期对露天矿排土场点云数据进行对比,判断露天矿排土场模型是否需要更新;
步骤4,当判断需要更新时,对露天矿排土场模型进行更新;
步骤5,对露天矿排土场排土边缘线进行更新;
其特征在于,所述步骤2中露天矿排土场模型的建立过程如下:
步骤2.1,采用kd-tree建立点云数据之间的拓扑关系,获取点云数据之间的k个邻近点;
步骤2.2,根据得到的各个点云数据的k个邻近点建立局部曲面,采用PCA方法估计曲面的法向量及特征点;
步骤2.3,综合露天矿排土场周围环境特点,利用点云及周围点云数据的分布均匀性来判断排土边缘点,筛选出排土边缘点;
步骤2.4,保留所有排土边缘点,并对非排土边缘点采用曲面变化进行点云数据简化,以反映露天矿排土场真实场景;
步骤2.5,运用Geomagic Studio软件对判断出来的排土边缘点和进行点云数据简化之后的非排土边缘点进行建模,获得露天矿排土场模型。
2.根据权利要求1所述露天矿无人驾驶中的排土场及排土边缘线实时更新方法,其特征在于,所述点云数据包括露天矿排土场周边环境中每个点所在的位置,即在三维空间中的x,y,z坐标以及激光反射强度特征。
3.根据权利要求1所述露天矿无人驾驶中的排土场及排土边缘线实时更新方法,其特征在于,所述步骤2.2获取法向量及特征点的方法为:
给定点云数据集P={p1,p2,...,pi,...,pn},其中n为点云总数,对于第i点云pi,pi的邻近点云记为pm∈Nb(pi),Nb(pi)表示离pi最近的k个点云,pi周围邻近点均值为点云pi的协方差矩阵定义为:
协方差矩阵Ci定义了由点云pi和其临近点云pm组成的局部曲面的几何信息,由于协方差矩阵Ci为对称半正定矩阵,其存在三个实数特征值,设三个特征值分别为:λ1,λ2,λ3,λ1≤λ2≤λ3,三个特征值对应的特征向量分别v1,v2,v3;v2和v3组成pi处的最小二乘拟合平面,v1点云pi和其临近点云pm组成的局部曲面的法向量;
最小特征值λ1表示点沿着曲面法矢的变化情况,因此可以利用各点云数据的最小特征值的变化来估计高曲率区域,点云pi的曲面变化表示为:
ωi=0时,pi为平面点,ωi值越大,曲面越弯曲,据此可根据ωi值判断点pi是否处于高曲率区域,如果ωi大于给定阈值f,则表示点pi处于高曲率区域,称为特征点,否则为非特征点;
所述步骤2.3包括如下步骤:
步骤2.3.1,设点云p为点云数据中的某一点云,由点云p及点云p的邻近点,计算出p点的法向量,然后构造最小二乘平面T;
步骤2.3.2,将点云p及其邻近点投影到最小二乘平面T上;
步骤2.3.3,过点云p作平行于xoy,xoz,yoz的平面,并计算出位于三个平面两侧的点云数量;
步骤2.3.4,若位于平面两侧的点云数量之差占邻近点云总数的比例大于或等于特定值w,该点即为排土边缘点,否则判定其为非排土边缘点;
所述步骤2.4中,保留步骤2.3计算出来的排土边缘点,对于非排土边缘区域的点根据步骤2.2中点云pi的曲面变化判断出特征点和非特征点;对于判断出的特征点进行保留,非特征点根据其k近邻点个数的比例进行简化。
4.根据权利要求1所述露天矿无人驾驶中的排土场及排土边缘线实时更新方法,其特征在于,所述步骤3判断露天矿排土场模型是否需要更新的具体步骤包括:
步骤3.1,将露天矿点云数据进行经纬度区域划分,具体为将点云数据根据经纬度划分为一定数量的区块,每个区块中包含相同数量的点云数据;
步骤3.2,计算每个经纬度区块是否发生变动,并保留点云数据变动的区块;
步骤3.3,判断变动区块数量,存在以下情况之一则判定模型需要更新:①变动区块的数量占总区块数量的1/20;②变动区块中存在四个及以上区块连续。
6.根据权利要求4或5所述露天矿无人驾驶中的排土场及排土边缘线实时更新方法,其特征在于,所述步骤4中,对露天矿排土场模型进行更新的具体步骤包括:
步骤4.1,对步骤3.2中的变动区块建模,生成模型更新所需的变动区块补丁;
步骤4.2,将生成的区块补丁与需要更新的模型进行融合,完成模型的实时更新。
7.根据权利要求6所述露天矿无人驾驶中的排土场及排土边缘线实时更新方法,其特征在于,所述步骤4.1中,运用Geomagic Studio软件可将变动区块点云数据进行建模,生成变动区块模型,将该区块模型称之为变动区块补丁;所述步骤4.2中,融合方法是将生成的补丁替换为模型中变动的区域。
8.根据权利要求4或5所述露天矿无人驾驶中的排土场及排土边缘线实时更新方法,其特征在于,所述步骤5中,对露天矿排土场排土边缘线进行更新的具体步骤包括:
步骤5.1,排土场点云数据排土边缘空间区域分割;
步骤5.2,运用数学三维数据拟合方法将排土边缘区域内的三维(GPS)点云数据拟合成空间的一条曲线,该曲线融合了对三维排土边缘点的主要点云数据,从而该曲线可表示为排土边缘线;
步骤5.3,运用经空间纬度关系将露天矿排土边缘线曲线转换为空间的GPS轨迹坐标点集,以供露天矿无人车排土作业。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110603480.0A CN113256588B (zh) | 2021-05-31 | 2021-05-31 | 露天矿无人驾驶中的排土场及排土边缘线实时更新方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110603480.0A CN113256588B (zh) | 2021-05-31 | 2021-05-31 | 露天矿无人驾驶中的排土场及排土边缘线实时更新方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113256588A CN113256588A (zh) | 2021-08-13 |
CN113256588B true CN113256588B (zh) | 2023-04-07 |
Family
ID=77185520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110603480.0A Active CN113256588B (zh) | 2021-05-31 | 2021-05-31 | 露天矿无人驾驶中的排土场及排土边缘线实时更新方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113256588B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115456383B (zh) * | 2022-09-01 | 2023-08-01 | 北京路凯智行科技有限公司 | 露天矿山卸载区域管控方法及系统 |
CN115195563B (zh) * | 2022-09-15 | 2022-11-15 | 上海伯镭智能科技有限公司 | 一种基于激光感知的无人矿车自主卸料方法 |
CN115271566B (zh) * | 2022-09-29 | 2022-12-30 | 北京易控智驾科技有限公司 | 排土位生成方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105507905A (zh) * | 2016-02-03 | 2016-04-20 | 长沙有色冶金设计研究院有限公司 | 露天采矿过背斜期间的内排方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2011221435B2 (en) * | 2010-09-01 | 2016-02-25 | The University Of Sydney | System and method for terrain analysis |
CN106323176B (zh) * | 2016-08-09 | 2019-03-29 | 鞍钢集团矿业有限公司 | 一种露天矿边坡的三维位移监测方法 |
CN110486017B (zh) * | 2019-08-30 | 2021-04-06 | 西安建筑科技大学 | 一种基于露天矿区路径的无人驾驶车辆能耗节能方法 |
CN112393736B (zh) * | 2020-04-26 | 2023-02-10 | 青岛慧拓智能机器有限公司 | 一种露天矿地图自动更新系统和方法 |
CN111829507B (zh) * | 2020-07-20 | 2022-04-22 | 北京易控智驾科技有限公司 | 应用于露天矿山自动驾驶的排土场挡墙地图更新方法 |
CN112214867B (zh) * | 2020-08-28 | 2024-04-02 | 辽宁工程技术大学 | 复杂煤层条件下露天矿开采境界与开采程序协同优化方法 |
-
2021
- 2021-05-31 CN CN202110603480.0A patent/CN113256588B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105507905A (zh) * | 2016-02-03 | 2016-04-20 | 长沙有色冶金设计研究院有限公司 | 露天采矿过背斜期间的内排方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113256588A (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113256588B (zh) | 露天矿无人驾驶中的排土场及排土边缘线实时更新方法 | |
US11599689B2 (en) | Methods and apparatus for automatically defining computer-aided design files using machine learning, image analytics, and/or computer vision | |
Soilán et al. | Automatic extraction of road features in urban environments using dense ALS data | |
CN112184736B (zh) | 一种基于欧式聚类的多平面提取方法 | |
CN103389103A (zh) | 一种基于数据挖掘的地理环境特征地图构建与导航方法 | |
CN104376595A (zh) | 一种基于机载LiDAR和GIS协同的三维道路生成方法 | |
CN113286982A (zh) | 生成、更新和增强大比例尺高精度3d道路地图和多级道路图的系统和方法 | |
CN113252027B (zh) | 井下无人驾驶车辆局部路径规划方法、装置、设备及存储介质 | |
Zhou et al. | Highway alignments extraction and 3D modeling from airborne laser scanning point clouds | |
CN115267815A (zh) | 一种基于点云建模的路侧激光雷达组群优化布设方法 | |
Elberink | Acquisition of 3D topography: Automated 3D road and building reconstruction using airborne laser scanner data and topographic maps | |
CN114821522A (zh) | 基于车载激光点云数据的城市道路横坡和超高值计算方法 | |
CN114359494A (zh) | 一种矿区三维地图采集更新方法及系统 | |
Ma et al. | Point cloud-based optimization of roadside LiDAR placement at constructed highways | |
CN116340307B (zh) | 坡道图层生成方法和装置、高精度地图及电子设备 | |
CN114386137B (zh) | 基于倾斜摄影技术的道路地形曲面优化设计方法 | |
US11555928B2 (en) | Three-dimensional object detection with ground removal intelligence | |
CN116245996A (zh) | 一种矿区非结构化道路的点云渲染方法及系统 | |
CN115526544A (zh) | 一种基于多类型数据的绿色矿山建设规划方法及系统 | |
CN112348950B (zh) | 一种基于激光点云分布特性的拓扑地图节点生成方法 | |
WO2022021209A9 (zh) | 电子地图生成方法、装置、计算机设备和存储介质 | |
CN114659513A (zh) | 一种面向非结构化道路的点云地图构建与维护方法 | |
CN113985873A (zh) | 一种装载机自主铲掘作业铲掘点规划方法 | |
Chang et al. | The implementation of semi-automated road surface markings extraction schemes utilizing mobile laser scanned point clouds for HD maps production | |
CN111612869A (zh) | 一种基于栅格数据进行地质编图的分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |