CN107180409A - 一种针对弯曲骨架型对象三维点云的广义圆柱投影方法 - Google Patents

一种针对弯曲骨架型对象三维点云的广义圆柱投影方法 Download PDF

Info

Publication number
CN107180409A
CN107180409A CN201710206525.4A CN201710206525A CN107180409A CN 107180409 A CN107180409 A CN 107180409A CN 201710206525 A CN201710206525 A CN 201710206525A CN 107180409 A CN107180409 A CN 107180409A
Authority
CN
China
Prior art keywords
section
point
cross
cloud
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710206525.4A
Other languages
English (en)
Other versions
CN107180409B (zh
Inventor
蓝秋萍
李子宽
李嘉
邓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201710206525.4A priority Critical patent/CN107180409B/zh
Publication of CN107180409A publication Critical patent/CN107180409A/zh
Application granted granted Critical
Publication of CN107180409B publication Critical patent/CN107180409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067Reshaping or unfolding 3D tree structures onto 2D planes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种针对弯曲骨架型对象三维点云的广义圆柱投影方法,将三维点投影到二维坐标系中,确定待投影点云的起始断面和终止断面;根据这两个断面建立与骨架对象总体弯曲形态一致的投影参考模型,该模型由一个参考轴、一个圆柱坐标系和一条参考骨架线构成;利用该投影参考,将三维点云坐标从(x,y,z)形式的欧氏坐标转化为(α,β)形式的两个角度值。本发明针对弯曲骨架对象建立一种适应长距离大弯角的广义圆柱投影参考模型,能够从整体上保证投影点位置关系的正确性,并且该投影参考能够适应绕自定义中心轴的旋转以及同时存在挠度的弯曲,对各类弯曲型骨架对象都具有广泛的适应性。

Description

一种针对弯曲骨架型对象三维点云的广义圆柱投影方法
技术领域
本发明涉及针对弯曲骨架型对象三维点云的广义圆柱投影方法,属于三维点云处理领域。
背景技术
三维激光扫描技术利用测距激光以自动的方式扫描目标表面,输出固定间隔的三维点云,为快速精确测量目标整体几何形态和局部几何细节提供了一种全新的技术手段。
尽管可以采集的非常致密,但是三维点云依然只是目标表面的离散采样。要得到连续的表面模型,最简单直接的方法就是以三维点云为顶点构建三角网模型,这是最大限度维持原始点云精度和保留几何细节的表面建模方法。目前在工程应用中二维Delaunay构网方法是公认的简单、有效、并且通行的构网方法。针对平直的骨架对象,如:笔直的隧道,进行构网的一般方法是建立与中心骨架(直)线同轴的投影圆柱,将对象表面点按照中心投影的方式映射到该圆柱面上,展开圆柱面得到二维点集,然后在二维点集上应用Delaunay三角构网得到点与点之间的构网关系。因为直线型骨架对象与圆柱是同胚的,圆柱投影得到的投影点之间的邻接关系与原始点云最为一致。
但是在实际工程应用中常常会遇到弯曲的骨架对象。对于弯曲幅度较小且长度较短的对象,还可以继续使用圆柱投影来构建三角网。如果弯曲幅度较大或骨架对象长度较长,继续使用圆柱投影,投影点之间的相对方位和距离难以保持正确性,从而造成投影失真,这种情况下针对二维投影点的构网对原始点将不再具有参考价值。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种针对弯曲骨架型对象三维点云的广义圆柱投影方法,将三维点云转换到二维空间上,使之能够应用成熟高效的二维空间构网方法以间接解决三维空间中点云的构网问题。
技术方案:为解决上述技术问题,本发明的一种针对弯曲骨架型对象三维点云的广义圆柱投影方法,该投影方法包含:
S1,在一段弯曲方向一致的骨架对象点云中,确定起始横断面和终止横断面;
S2,根据起始横断面和终止横断面建立与对象整体弯曲形态一致的投影参考模型R,该模型包括一个参考轴L、一个以L为中心轴的圆柱坐标系C、和一条该坐标系C下的参考骨架线其中参考轴L为起始横断面和终止横断面的交线,起始横断面的中心点为A点,终止横断面的中心点为B点,参考骨架线为从A为起点,绕轴L匀速螺旋上升直至B点的参考骨架线;
S3,利用该投影参考模型R将点云中的所有点从三维欧氏坐标(x,y,z)转换为二维投影坐标(α,β)。
作为优选,所述步骤S1包含:
S1.1,根据起始端点云的坐标确定起始横断面中心点A,根据终止端点云的坐标确定终止横断面中心点B;
S1.2,根据起始端点云的法向确定起始端骨架线走向根据终止端点云的法向确定终止端骨架线走向
S1.3,将过点A且垂直于的平面确定为起始横断面SA,将过点B且垂直与的平面确定为终止横断面SB
作为优选,所述步骤S2包含:
S2.1,计算起始横断面SA和终止横断面SB的相交直线,该直线即为投影参考模型中的中心轴L,约定待投影点云的所有断面都经过中心轴L,即:任意一点所在的断面是同时经过该点和中心轴L的那个平面;
S2.2,建立以L为中心轴的圆柱坐标系C,并计算起始横断面中心点A和终止横断面中心点B在C中的坐标;
S2.3,在圆柱坐标系C中,确定从起始横断面中心点A出发、绕中心轴L匀速螺旋上升、直至终止横断面中心点B的参考骨架线
作为优选,所述步骤S3包含:
S3.1,对于三维点云中的每一个点Q,计算其在圆柱坐标系C中的坐标(ρQ,αQ,lQ),其中αQ是点Q所在断面与起始横断面SA的夹角,也是该点经过R投影后的α坐标值;
S3.2,对于三维点云中的每一个点Q,计算Q点所在断面的参考中心点P,即:Q点所在断面与参考骨架线的交点;
S3.3,对于三维点云中的每一个点Q,计算向量与中心轴L的夹角β,β是点Q在以P为原点、以L为零方向的断面内二维极坐标角,也是该点经过R投影后的β坐标值。
有益效果:本发明的针对弯曲骨架型对象三维点云的广义圆柱投影方法,将三维点云转换到二维空间上,使之能够应用成熟高效的二维空间构网方法以间接解决三维空间中点云的构网问题。这种投影方法适用于弯曲方向和弯曲幅度较为稳定的骨架对象点云,即使处理长距离大弯角的骨架对象,也能够保证参与投影计算的整段点云都能够得到分布均匀、几何位置关系正确的投影点。
附图说明
图1为一段骨架对象(隧道)点云,用来演示起始断面与终止端面的计算过程。
图2为本发明提出的弯曲骨架对象投影参考模型R示意图,其中L为参考轴和为参考骨架线。
图3为以L为中心轴的圆柱坐标系C示意图。
图4为投影点β值的计算方法示意图。
具体实施方式
一种针对弯曲骨架对象的广义圆柱投影方法,该投影方法包含:
S1,从弯曲骨架对象的三维点云中识别起始断面和终止断面,以如图1所示的一段高速公路隧道点云为例说明,该步骤S1包含:
S1.1,在点云的首、末两端位置上各截取一定厚度的点云切片,厚度一般取2~6倍的平均点间距较为可靠,如图1所示,确保点云切片厚度均匀,能够形成一个完整的断面轮廓,点云切片不要求与此处的骨架走向精确垂直;
S1.2,对起始端和终止端的点云切片计算中心点坐标,得到如图1中的点A和点B。假设起始端点云切片中包括m个点(xi,yi,zi),i=1,2,…,m,m个点(xi,yi,zi)均为三维激光扫描仪的输出数据,分别对这m个点的xi、yi、zi计算平均值,得到中心点A(xA,yA,zA),即:以相同的方法计算终止端点云切片的中心B;
S1.3,计算起始端和终止端的骨架线走向骨架对象表面各处的法向都垂直于所在位置的骨架走向,利用该特征根据切片中各个点的法向计算精确走向。假设起始端点云切片中包括m个点ai,它们的法向为i=1,2,…,m,从中挑选出n组点对(ai,aj),其中,i≠j,且保证的空间夹角在60与120之间,且尽可能接近90,对每一组点对计算法向的叉乘积其中,
dx=nyi·nzj-nyj·nzi
dy=nzi·nxj-nzj·nxi
dz=nxi·nyj-nxjnyi
然后,对这n个叉乘积计算平均值,其结果就是起始端的骨架线走向以相同的方法计算终止端骨架线走向
S1.4,确定起始断面SA和终止断面SB,经过点A并且以骨架线走向为法向的平面即为起始断面SA,同样经过点B并且以骨架线走向为法向的平面即为终止断面SB
S2,构建适用于该段点云的投影参考模型R,如图2所示,该参考模型由参考轴L、以L为中心轴的圆柱坐标系C、以及定义在坐标系C中的参考骨架线构成,该步骤S2包括:
S2.1,确定参考轴L,计算起始断面SA与终止断面SB的相交直线,该直线即为投影模型R的参考轴L;
S2.2,建立以L为中心轴的圆柱坐标系C。如图3所示,分别计算起始断面中心点A和终止断面中心点B在直线L上的垂足A’、B’,定义经过A点且垂直于L的平面为S,A’是S与L的交点,也是A点在L上的垂足;以L为中心轴建立圆柱坐标系,A’是L轴的0值点,L轴以方向为正方向,S是过A’点的0值参考平面,B点在该参考面上的投影点是B;对于三维空间中的一点P,P’是P点在L上的垂足,P是P点在参考面S上的投影点;在该圆柱坐标系中,P点的坐标被定义为(ρ,α,l),其中:ρ是点P到中心轴L的垂直距离,即:直线段PP’的长度;α是在S上的投影与的夹角,即:的夹角;l是P到参考面S的垂直距离,即:直线L上P’与A’的距离;
S2.3,在圆柱坐标系C中,定义一条从起始断面中心点A出发、绕中心轴L匀速螺旋上升、直至终止断面中心点B的参考骨架线由S2.2中的坐标系创建过程可知,点A在坐标系C中的坐标是(ρA,αA,lA)=(A′A,0,0),点B在C中的坐标是(ρB,αB,lB)=(B′B,∠AA′B,A′B′)。如果假设一个点P(ρ,α,l)从A出发沿匀速移动到B,那么在此过程中,ρ从A′A匀速变化到B′B,α由0匀速变化到∠AA′B,l由0匀速变化到A′B′。因此,在坐标系CL中的曲线方程可表达为:
即:
S3,对原始点云中的所有点,利用投影参考系R,将三维激光扫描仪输出的三维欧氏坐标(x,y,z)转换为二维角度坐标(α,β),对于原始点云中的一个点Q,该转换过程S3包括:
S3.1,计算Q点在圆柱坐标系C中的坐标(ρQQ,lQ),计算Q点分别在直线L和平面S上的垂足Q’、Q,那么ρQ=QQ′,αQ=∠AA′QQ是通过欧氏坐标计算而来的,αQ本质上就是“A点与直线L确定的初始断面”与“Q点与直线L确定的断面”之间的夹角,具体计算公式是αQ=∠AA′Q,Q是Q点在平面上的上的垂足,可以参考图3来理解,将图3中的P点想象成Q点,图中的α就是αQ),lQ=A′Q′;
S3.2,计算Q点所在断面的参考中心点P(ρP,αP,lP),Q点所在断面就是经过Q点和直线L所确定的平面,而该断面上的参考中心点P也就是该平面与参考骨架线的交点,由于Q与P属于同一个经过直线L的平面,因此在坐标系C中具有相同的α值,即:αP=αQ,根据S2.3中定义的曲线方程,由αP可以推导出P点在坐标系C中的另外两个坐标值,
S3.3,计算与轴L的夹角β,如图4所示,β即为SP断面内、以P为原点、从L的正方向沿顺时针旋转到的角度,L’平行于L,P’和Q’是P和Q在L上的垂足,M是Q在L’上的垂足,所以β=∠MPQ,可以利用平面几何三角函数根据MP和MQ计算出β,
由于tan-1的取值范围是(-π/2,π/2),可以根据ρQP与lQ-lP的符号将其调整到[0,2π)的值域范围中,
S3.4,至此,(αQ,β)就是点Q利用投影参考模型R转换得到的二维坐标,其中,αQ在S3.1中计算得到,β在S3.3中计算得到,在对三维点云中的所有点都计算出(αQ,β)之后,就可以对这个形式的二维投影点点集构建Delaunay三角网了,之后,参照这张二维网的构网关系,依据三维点与二维点之间的一一对应关系,在三维点云中建立具有相同拓扑关系的三维三角网。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种针对弯曲骨架型对象三维点云的广义圆柱投影方法,其特征在于,该投影方法包含:
S1,在一段弯曲方向一致的骨架对象点云中,确定起始横断面和终止横断面;
S2,根据起始横断面和终止横断面建立与对象整体弯曲形态一致的投影参考模型R,该模型包括一个参考轴L、一个以L为中心轴的圆柱坐标系C、和一条该坐标系C下的参考骨架线其中参考轴L为起始横断面和终止横断面的交线,起始横断面的中心点为A点,终止横断面的中心点为B点,参考骨架线为以A为起点,绕轴L匀速螺旋上升直至B点的参考骨架线;
S3,利用该投影参考模型R将点云中的所有点从三维欧氏坐标x,y,z转换为二维投影坐标(α,β)。
2.如权利要求1所述的针对弯曲骨架型对象三维点云的广义圆柱投影方法,其特征在于,所述步骤S1包含:
S1.1,根据起始端点云的坐标确定起始横断面中心点A,根据终止端点云的坐标确定终止横断面中心点B;
S1.2,根据起始端点云的法向确定起始端骨架线走向根据终止端点云的法向确定终止端骨架线走向
S1.3,将过点A且垂直于的平面确定为起始横断面SA,将过点B且垂直与的平面确定为终止横断面SB
3.如权利要求1所述的针对弯曲骨架型对象三维点云的广义圆柱投影方法,其特征在于,所述步骤S2包含:
S2.1,计算起始横断面SA和终止横断面SB的相交直线,该直线即为投影参考模型中的中心轴L,约定待投影点云的所有断面都经过中心轴L,即:任意一点所在的断面是同时经过该点和中心轴L的那个平面;
S2.2,建立以L为中心轴的圆柱坐标系C,并计算起始横断面中心点A和终止横断面中心点B在C中的坐标;
S2.3,在圆柱坐标系C中,确定从起始横断面中心点A出发、绕中心轴L匀速螺旋上升、直至终止横断面中心点B的参考骨架线
4.如权利要求1所述的针对弯曲骨架型对象三维点云的广义圆柱投影方法,其特征在于,所述步骤S3包含:
S3.1,对于三维点云中的每一个点Q,计算其在圆柱坐标系C中的坐标(ρQ,αQ,lQ),其中αQ是点Q所在断面与起始横断面SA的夹角,也是该点经过R投影后的α坐标值;
S3.2,对于三维点云中的每一个点Q,计算Q点所在断面的参考中心点P,即:Q点所在断面与参考骨架线的交点;
S3.3,对于三维点云中的每一个点Q,计算向量与中心轴L的夹角β,β是点Q在以P为原点、以L为零方向的断面内二维极坐标角,也是该点经过R投影后的β坐标值。
CN201710206525.4A 2017-03-31 2017-03-31 一种针对弯曲骨架型对象三维点云的广义圆柱投影方法 Active CN107180409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710206525.4A CN107180409B (zh) 2017-03-31 2017-03-31 一种针对弯曲骨架型对象三维点云的广义圆柱投影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710206525.4A CN107180409B (zh) 2017-03-31 2017-03-31 一种针对弯曲骨架型对象三维点云的广义圆柱投影方法

Publications (2)

Publication Number Publication Date
CN107180409A true CN107180409A (zh) 2017-09-19
CN107180409B CN107180409B (zh) 2021-06-25

Family

ID=59829945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710206525.4A Active CN107180409B (zh) 2017-03-31 2017-03-31 一种针对弯曲骨架型对象三维点云的广义圆柱投影方法

Country Status (1)

Country Link
CN (1) CN107180409B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109556529A (zh) * 2018-12-14 2019-04-02 中铁隧道局集团有限公司 一种基于网格投影点云处理技术的隧道变形监测分析方法
CN111442736A (zh) * 2020-04-29 2020-07-24 安徽国钜工程机械科技有限公司 一种基于激光扫描仪的铁路隧道变形检测方法及其装置
CN111486797A (zh) * 2019-01-29 2020-08-04 上海京海工程技术有限公司 一种地铁圆形盾构隧道横向直径的自动提取方法
CN111754636A (zh) * 2020-06-26 2020-10-09 北京百度网讯科技有限公司 三维点云处理方法、三维点云处理模型训练方法及装置
US11341604B2 (en) * 2018-04-05 2022-05-24 Koito Manufacturing Co., Ltd. Processing device for object identification

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090058853A1 (en) * 2007-09-03 2009-03-05 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Method for meshing a curved surface
CN104392476A (zh) * 2014-12-04 2015-03-04 上海岩土工程勘察设计研究院有限公司 基于最小包围盒算法提取隧道三维轴线的方法
CN104457572A (zh) * 2014-12-04 2015-03-25 上海岩土工程勘察设计研究院有限公司 基于三维扫描技术提取盾构隧道错缝错台量的方法
CN104792274A (zh) * 2015-04-02 2015-07-22 同济大学 一种圆形隧道收敛变形的测量方法
CN106127771A (zh) * 2016-06-28 2016-11-16 上海数联空间科技有限公司 基于激光雷达lidar点云数据获取隧道正射影像系统及方法
CN106548510A (zh) * 2016-11-07 2017-03-29 上海岩土工程勘察设计研究院有限公司 盾构隧道结构模型生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090058853A1 (en) * 2007-09-03 2009-03-05 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Method for meshing a curved surface
CN104392476A (zh) * 2014-12-04 2015-03-04 上海岩土工程勘察设计研究院有限公司 基于最小包围盒算法提取隧道三维轴线的方法
CN104457572A (zh) * 2014-12-04 2015-03-25 上海岩土工程勘察设计研究院有限公司 基于三维扫描技术提取盾构隧道错缝错台量的方法
CN104792274A (zh) * 2015-04-02 2015-07-22 同济大学 一种圆形隧道收敛变形的测量方法
CN106127771A (zh) * 2016-06-28 2016-11-16 上海数联空间科技有限公司 基于激光雷达lidar点云数据获取隧道正射影像系统及方法
CN106548510A (zh) * 2016-11-07 2017-03-29 上海岩土工程勘察设计研究院有限公司 盾构隧道结构模型生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李兵 等: "基于点云数据的隧道中轴线自动提取方法研究", 《重庆建筑》 *
汪子豪: "从隧道三维点云中自动截取断面轮廓的方法", 《水利与建筑工程学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11341604B2 (en) * 2018-04-05 2022-05-24 Koito Manufacturing Co., Ltd. Processing device for object identification
CN109556529A (zh) * 2018-12-14 2019-04-02 中铁隧道局集团有限公司 一种基于网格投影点云处理技术的隧道变形监测分析方法
CN109556529B (zh) * 2018-12-14 2020-11-17 中铁隧道局集团有限公司 一种基于网格投影点云处理技术的隧道变形监测分析方法
CN111486797A (zh) * 2019-01-29 2020-08-04 上海京海工程技术有限公司 一种地铁圆形盾构隧道横向直径的自动提取方法
CN111442736A (zh) * 2020-04-29 2020-07-24 安徽国钜工程机械科技有限公司 一种基于激光扫描仪的铁路隧道变形检测方法及其装置
CN111442736B (zh) * 2020-04-29 2021-09-17 安徽国钜工程机械科技有限公司 一种基于激光扫描仪的铁路隧道变形检测方法及其装置
CN111754636A (zh) * 2020-06-26 2020-10-09 北京百度网讯科技有限公司 三维点云处理方法、三维点云处理模型训练方法及装置
CN111754636B (zh) * 2020-06-26 2023-07-25 北京百度网讯科技有限公司 三维点云处理方法、三维点云处理模型训练方法及装置

Also Published As

Publication number Publication date
CN107180409B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN107180409A (zh) 一种针对弯曲骨架型对象三维点云的广义圆柱投影方法
Ji et al. An improved method for registration of point cloud
CN105133840B (zh) 一种双曲面吊顶的施工方法
CN106017339B (zh) 一种在非完全约束系统中投影非均匀条纹的三维测量方法
CN104392476A (zh) 基于最小包围盒算法提取隧道三维轴线的方法
CN101692257A (zh) 一种复杂曲面的配准方法
CN103942837B (zh) 基于序列线性规划的叶片点云模型截面曲线直接构造方法
CN105469404A (zh) 一种基于三维点云数据的旋转体拟合方法及装置
CN102853763A (zh) 一种不规则表面文物体积的测量方法
CN101847262B (zh) 一种快速三维点云搜索匹配方法
CN104657713A (zh) 一种可抗姿态和表情变化的三维人脸校准方法
CN109255837B (zh) 一种用于激光雷达点云数据处理的高效b样条曲面的构造方法
CN103292769A (zh) 一种基于最小区域的平面倾斜度误差评定方法
CN102254353A (zh) 一种三维模型的特征描述方法
CN111599016A (zh) 点云误差计算方法
Xiaowen et al. Camera calibration method for solid spheres based on triangular primitives
TWI406189B (zh) 點雲三角網格面構建方法
CN110223390B (zh) 一种基于直线体素遍历原理的多段线嵌入tin算法
CN106023314A (zh) 一种基于回转轴方向映射的b样条母曲线拟合方法
Sun et al. Automatic quadrilateral mesh generation and quality improvement techniques for an improved combination method
Sun et al. Smoothing algorithm for planar and surface mesh based on element geometric deformation
CN106557602B (zh) 一种基于gis的空间距离校核三维仿真方法
CN106874919A (zh) 一种用于确定船体外板角点的方法与装置
CN112381908B (zh) 一种地形扫描点云边界线提取方法
CN112364510B (zh) 定向钻孔分段设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant