CN111815686A - 基于几何特征由粗到细点云配准方法 - Google Patents

基于几何特征由粗到细点云配准方法 Download PDF

Info

Publication number
CN111815686A
CN111815686A CN201910294052.7A CN201910294052A CN111815686A CN 111815686 A CN111815686 A CN 111815686A CN 201910294052 A CN201910294052 A CN 201910294052A CN 111815686 A CN111815686 A CN 111815686A
Authority
CN
China
Prior art keywords
point
points
registration
point cloud
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910294052.7A
Other languages
English (en)
Other versions
CN111815686B (zh
Inventor
何小海
胡加涛
吴晓红
滕奇志
卿粼波
吴小强
王正勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910294052.7A priority Critical patent/CN111815686B/zh
Publication of CN111815686A publication Critical patent/CN111815686A/zh
Application granted granted Critical
Publication of CN111815686B publication Critical patent/CN111815686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于几何特征由粗到细点云配准方法,主要涉及三维重建和计算机视觉领域中两个视角点云配准问题。该方法包括粗配准和细配准两个阶段。在粗配准阶段,通过投影法提取源点云和目标点云各4个特征点,然后利用曲率特征和匹配点之间的距离匹配稳健的特征点对,计算得到初始刚性变换参数;细配准阶段,计算点云法向量及法向量夹角,以法向量为特征进行特征匹配,然后使用法向量夹角来启发搜索,使两点云快速收敛。本发明所提出的由粗到细的配准方法在一定程度上解决了传统ICP配准方法迭代速度慢和配准精度低的问题。

Description

基于几何特征由粗到细点云配准方法
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种基于几何特征由粗到细点云配准方法。
背景技术
点云配准是三维计算机视觉中的一个基本问题。通常采用激光扫描仪获取点云,但由于光在物体表面不能穿透,物体表面的信息往往需要多视角、多分辨率扫描获得。给定不同坐标系下的几组点云,配准的目的是找到将它们对齐到最佳公共坐标系的变换。通常需要对多个视角的点云进行配准才能获取完整的信息,其中最基本的是两个视角点云配准。
无序点云配准面临四大挑战:(1)不均匀的点密度;(2)大量数据;(3)重复、对称和不完整的结构;(4)点云之间的有限重叠。为了应对这些挑战,研究人员已经进行了广泛的研究,其中最经典的方法是由Best等人提出的迭代最近点(Iterative Closest Points,ICP)算法。该算法通过在匹配对应点和更新刚性变换之间多次迭代对齐两点云。ICP配准精度高且易实现,但对初始位置敏感,容易陷入局部最小值。
为了达到良好配准效果,点云配准通常分两步:粗配准和细配准。粗配准将距离较远、旋转角度较大的两点云尽可能多的重合在一起,细配准进一步得到精确的结果。基于点特征的粗配准通常利用关键点检测器(3DSIFT、NARF、Harris3D、ISS3D)从点云中提取关键点,计算特征描述符(FPFH、3D Shape Context、VFH),然后利用特征匹配策略来确定源点云和目标点云初始变换关系;基于点的粗配准利用点与点之间几何关系来计算变换矩阵,如4点全等(4PCS)及其变体超4点全等(Super-4PCS)。虽然以上方法能得到令人满意的结果,但对于对称和大规模点云来说,计算效率仍有待提高。细配准主要是ICP算法及其变体(pointto plane ICP、NICP、GICP)。Bae等人提出了几何原始ICP与随机样本共识(GPICPR)算法,利用局部表面法向量和几何曲率用于匹配和邻域搜索。He等人使用几何特征来改进经典的ICP算法。虽然ICP及其变体配准效率高、精度好,但是它们需要良好的初始位置,避免陷入局部最小值。
发明内容
本发明提出了一种基于特征点曲率匹配的粗配准和基于法向量夹角、启发式搜索的细配准,目的在于将点云几何特征融入点云配准,使得初始配准获得良好初始位置,细配准利用法向量特征快速收敛。
本发明通过以下技术方案来实现上述目的:
(1)粗配准阶段,首先寻找点云的最佳投影平面,将点云投影到平面上,然后在平面上提取4个轮廓点,再根据投影变换寻找轮廓点的三维对应点,计算三维点邻域内的各点的曲率,根据曲率变化率的最值寻找特征点。
(2)结合曲率特征和点对距离,在4对轮廓特征点中寻找最相似的匹配点,并利用变换矩阵计算得到初始变换参数。
(3)通过法向量及法向量夹角,使得搜索时利用法向量方向的相似性确定性向一个方向接近最近点,改善传统ICP迭代次数过多的问题。
附图说明
图1为本发明基于几何特征由粗到细点云配准方法框架图。
图2为实验对比的结果图。
具体实施方法
由粗到细点云配准具体方法如下:
寻找4个轮廓特征点的方法如下:
假设点集为
Figure BDA0002025885950000021
通过最小化点到平面的距离平方误差之和,获得最佳拟合平面P,将点集S投影到平面P上,记为
Figure BDA0002025885950000022
点集S′p在平面P上的中心点为
Figure BDA0002025885950000023
在平面上选取的4个点如下:
第一个点f1为距离中心点最远的点
Figure BDA0002025885950000024
第二个点f2为距离f1点和中心点距离最远的点,
Figure BDA0002025885950000025
点f1到中心点c的直线和点f2到中心点c的直线形成了以c为顶点的角∠f1cf2,第三个点f3在∠f1cf2的角平分线上,并距离中心最远的点。
第四个点f4在以f3为定点的射线f3c上,并距离中心点c最远的点。
找到这4个点之后,将这4点映射到三维空间中,然后在这4个点周围选取k个最近邻点,计算k个点的曲率形状变化率,寻找这四个点邻域内的特征凹点或者特征凸点作为特征点。
基于4点匹配的初始配准的方法如下:
对于源点集
Figure BDA0002025885950000031
和目标点集
Figure BDA0002025885950000032
其中N和M分别为源点集和目标点集点的数目,寻找源点集和目标点集4个轮廓特征点分别为
Figure BDA0002025885950000033
Figure BDA0002025885950000034
轮廓特征点之间的距离分别为{dpi,j}和{dqi,j},i和j是不同特征点下标k值。
定义两个4点集匹配的相似度Sp,q为:
Sp,q=α∑(||C(pfk)-C(qfl)||)+(1-α)∑(||dpi,j-dqi,j||) (3)
其中α是平衡系数,0<α<1,若
Figure BDA0002025885950000035
Figure BDA0002025885950000036
中对应特征点的曲率变化率比较接近,且
Figure BDA0002025885950000037
Figure BDA0002025885950000038
中的4个特征点曲率变化率差异明显,则增大α权重;若
Figure BDA0002025885950000039
Figure BDA00020258859500000310
中的4个特征点曲率变化率差异较小,难以区分,则减小α权重,此时利用轮廓特征点之间的距离进行匹配,通过比对{dpi,j}和{dqi,j}来匹配,寻找最近的匹配点。
初始变换矩阵Tr可以通过公式(4)计算:
Figure BDA00020258859500000311
其中,P(c)和P(t)为源点集和目标点集的4个轮廓特征点的特征矩阵,定义P(τ)
Figure BDA00020258859500000312
当τ=c时为源点云特征点矩阵;当τ=t时为目标点云特征点矩阵,P(c)和P(t)的每一列中的(x,y,z),都是一对匹配的轮廓特征点。
基于法向量夹角启发搜索的精细配准的方法如下:
输入:给定源点云与目标点云的一组粗匹配及收敛阈值ε。
输出:最优旋转和平移矩阵。
Step1从源点云S中选择点pi,并计算邻域法向量nsi
Step2从目标点云T中选择pi的粗匹配点qj的k个最近点,并计算这些点的法向nqj
Step3将nsi与目标点邻域内k个最近点的法向量nqj进行匹配,计算pi与qj邻域各点法向量夹角,并把具有相同变化趋势的法向量的点对构成对应点集合m(pi,qj)。
Step4从对应点集合中选取法向量夹角最小的一组对应点(pi,qx),利用奇异值分解(singular value decomposition,SVD)的方法计算旋转矩阵RK+1和平移矩阵tk+1,则sk+1=[Rk+1,tk+1]T,并更新目标点云的位置。
Step5计算两点云的均方根误差RMSE(root mean square error),若RMSEk+1<RMSEk,同时RMSEk-RMSEk+1>ε,以目标点qx替代目标点qj继续Step2的计算。
Step6若出现RMSEk+1>RMSEk,选取法向量夹角较大的一组点(pi,qx),继续Step4的计算。
Step7若多次出现RMSEk+1>RMSEk,则减小k,继续迭代直到收敛。
点云配准的执行精度和效率主要从迭代平均耗时和RMSE误差中体现。为了验证本发明的提出的基于几何特征由粗到细点云配准方法的有效性,在相同实验环境的条件下,分别选取三组不同点云对传统ICP算法和本文提出的由粗到细的点云配准算法进行了对比实验。实验结果如表1所示。
从表中可以看出本文算法在实验数据中取得了较好的效果,具有一定的实用价值。与传统算法相比,迭代次数明显减少,且耗时减少,RMSE误差降低,在有噪声的情况下,本文方法无论在配准精度和速度上更有优势。
表1传统算法和本文方法实验结果
Figure BDA0002025885950000051

Claims (4)

1.一种基于几何特征由粗到细点云配准方法,其特征在于包括以下步骤:
(1)粗配准阶段,首先寻找点云的最佳投影平面,将点云投影到平面上,然后在平面上提取4个轮廓点,再根据投影变换寻找轮廓点的三维对应点,计算三维点邻域内的各点的曲率,根据曲率变化率的最值寻找特征点;
(2)利用轮廓特征点对的曲率变化率和利用轮廓特征点之间的距离进行匹配,得到初始变换参数;
(3)细配准采用法向量作为点云特征匹配的度量,通过法向量夹角来启发搜索以改善点云配准速度,同时避免陷入局部最小值。
2.根据权利要求1所述的方法,其特征在于四个轮廓特征点的选取:
假设点集为
Figure FDA0002025885940000011
通过最小化点到平面的距离平方误差之和,获得最佳拟合平面P,将点集S投影到平面P上,记为
Figure FDA0002025885940000012
点集S′p在平面P上的中心点为
Figure FDA0002025885940000013
在平面上选取的4个点如下:
第一个点fp1为距离中心点最远的点,
Figure FDA0002025885940000014
第二个点f2为距离f1点和中心点最远的点,
Figure FDA0002025885940000015
点f1到中心点c的直线和点f2到中心点c的直线形成了以c为顶点的角∠f1cf2,第三个点f3在∠f1cf2的角平分线上,并距离中心最远的点;
第四个点f4在以f3为定点的射线f3c上,并距离中心点c最远的点;
找到这4个点之后,将这4点映射到三维空间中,然后在这4个点周围选取k个最近邻点,计算k个点的曲率形状变化率,寻找这四个点邻域内的特征凹点或者特征凸点作为特征点。
3.根据权利要求1所述的方法,其特征在于步骤(2)中两个4点集匹配的相似度描述函数Sp,q
Sp,q=α∑(||C(pfk)-C(qfl)||)+(1-α)∑(||dpi,j-dqi,j||) (3)
对于两个4点轮廓特征点集为
Figure FDA0002025885940000021
Figure FDA0002025885940000022
点集之间的距离分别为{dpi,j}和{dqi,j},i和j是不同特征点下标k值,然后通过轮廓特征点的曲率变化率和点对之间的距离来找到匹配点。
4.根据权利要求1所述的方法,其特征在于(3)中使用法向量夹角启发ICP迭代收敛,具体来说每次匹配时,选取法向量夹角较小的点作为匹配点,并根据均方误差确定下一次匹配的点,均方误差的变化有三种情况:
1)迭代后的均方误差比上一次小,则选取新的目标点;
2)迭代后的误差比上一次大,选取法向量夹角较大的一组点进行迭代;
3)如果多次出现迭代后的误差比上一次大,则减小邻域大小继续迭代直到收敛。
CN201910294052.7A 2019-04-12 2019-04-12 基于几何特征由粗到细点云配准方法 Active CN111815686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910294052.7A CN111815686B (zh) 2019-04-12 2019-04-12 基于几何特征由粗到细点云配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910294052.7A CN111815686B (zh) 2019-04-12 2019-04-12 基于几何特征由粗到细点云配准方法

Publications (2)

Publication Number Publication Date
CN111815686A true CN111815686A (zh) 2020-10-23
CN111815686B CN111815686B (zh) 2023-08-18

Family

ID=72843895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910294052.7A Active CN111815686B (zh) 2019-04-12 2019-04-12 基于几何特征由粗到细点云配准方法

Country Status (1)

Country Link
CN (1) CN111815686B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160285A (zh) * 2021-05-08 2021-07-23 中国科学院自动化研究所苏州研究院 一种基于局部深度图像关键性的点云匹配方法
CN113313200A (zh) * 2021-06-21 2021-08-27 中国科学院自动化研究所苏州研究院 一种基于法向约束的点云精匹配方法
CN113327275A (zh) * 2021-06-18 2021-08-31 哈尔滨工业大学 一种基于多约束点到局部曲面投影的点云双视角精配准方法
CN113470084A (zh) * 2021-05-18 2021-10-01 西安电子科技大学 一种基于外轮廓粗匹配的点集配准方法
CN113487633A (zh) * 2021-08-17 2021-10-08 熵智科技(深圳)有限公司 一种点云轮廓提取方法、装置、计算机设备及存储介质
CN114485608A (zh) * 2021-12-13 2022-05-13 武汉中海庭数据技术有限公司 一种用于高精度地图制作的局部点云快速配准方法
CN116152303A (zh) * 2022-09-08 2023-05-23 上海贝特威自动化科技有限公司 一种基于几何空间一致性加权的二部图点云匹配算法
CN117011128A (zh) * 2023-08-02 2023-11-07 广州知元科技有限责任公司 一种基于区域分解的三维模型自动配准方法及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128546A1 (en) * 2005-06-07 2009-05-21 National Institute Of Advanced Industrial Science And Technology Method And Program For Registration Of Three-Dimensional Shape
CN101645170A (zh) * 2009-09-03 2010-02-10 北京信息科技大学 多视点云精确配准方法
CN103049896A (zh) * 2012-12-27 2013-04-17 浙江大学 三维模型的几何数据和纹理数据自动配准算法
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN107392947A (zh) * 2017-06-28 2017-11-24 西安电子科技大学 基于轮廓共面四点集的2d‑3d图像配准方法
CN107886529A (zh) * 2017-12-06 2018-04-06 重庆理工大学 一种用于三维重建的点云配准方法
CN108376408A (zh) * 2018-01-30 2018-08-07 清华大学深圳研究生院 一种基于曲率特征的三维点云数据快速加权配准方法
CN108830902A (zh) * 2018-04-19 2018-11-16 江南大学 一种基于点云处理的散乱工件识别与定位方法
US20190073744A1 (en) * 2017-09-01 2019-03-07 Tata Consultancy Services Limited Systems and methods for shape constrained 3d point cloud registration
CN109472816A (zh) * 2018-09-17 2019-03-15 西北大学 一种点云配准方法
CN109544612A (zh) * 2018-11-20 2019-03-29 西南石油大学 基于特征点几何表面描述的点云配准方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128546A1 (en) * 2005-06-07 2009-05-21 National Institute Of Advanced Industrial Science And Technology Method And Program For Registration Of Three-Dimensional Shape
CN101645170A (zh) * 2009-09-03 2010-02-10 北京信息科技大学 多视点云精确配准方法
CN103049896A (zh) * 2012-12-27 2013-04-17 浙江大学 三维模型的几何数据和纹理数据自动配准算法
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN107392947A (zh) * 2017-06-28 2017-11-24 西安电子科技大学 基于轮廓共面四点集的2d‑3d图像配准方法
US20190073744A1 (en) * 2017-09-01 2019-03-07 Tata Consultancy Services Limited Systems and methods for shape constrained 3d point cloud registration
CN107886529A (zh) * 2017-12-06 2018-04-06 重庆理工大学 一种用于三维重建的点云配准方法
CN108376408A (zh) * 2018-01-30 2018-08-07 清华大学深圳研究生院 一种基于曲率特征的三维点云数据快速加权配准方法
CN108830902A (zh) * 2018-04-19 2018-11-16 江南大学 一种基于点云处理的散乱工件识别与定位方法
CN109472816A (zh) * 2018-09-17 2019-03-15 西北大学 一种点云配准方法
CN109544612A (zh) * 2018-11-20 2019-03-29 西南石油大学 基于特征点几何表面描述的点云配准方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
DROR AIGER 等: "4-Points Congruent Sets for Robust Pairwise Surface Registration" *
HE YING 等: "An Iterative Closest Points Algorithm for Registration of 3D Laser Scanner Point Clouds with Geometric Features" *
LI LIANG 等: "Three-dimensional point cloud registration based on normal vector angle" *
LIN CHIEN-CHOU 等: "A novel point cloud registration using 2D image features" *
SUN JUNHUA 等: "An automatic 3D point cloud registration method based on regional curvature maps" *
张步 等: "基于几何特征的建筑物点云配准方法" *
王蕊 等: "基于几何特征的点云配准算法" *
胡加涛 等: "一种基于几何特征由粗到细点云配准算法" *
蔡文娜,刘凤连: "一种基于法向量夹角的点云配准方法" *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160285A (zh) * 2021-05-08 2021-07-23 中国科学院自动化研究所苏州研究院 一种基于局部深度图像关键性的点云匹配方法
CN113160285B (zh) * 2021-05-08 2024-04-16 中国科学院自动化研究所苏州研究院 一种基于局部深度图像关键性的点云匹配方法
CN113470084B (zh) * 2021-05-18 2024-01-30 西安电子科技大学 一种基于外轮廓粗匹配的点集配准方法
CN113470084A (zh) * 2021-05-18 2021-10-01 西安电子科技大学 一种基于外轮廓粗匹配的点集配准方法
CN113327275A (zh) * 2021-06-18 2021-08-31 哈尔滨工业大学 一种基于多约束点到局部曲面投影的点云双视角精配准方法
CN113313200A (zh) * 2021-06-21 2021-08-27 中国科学院自动化研究所苏州研究院 一种基于法向约束的点云精匹配方法
CN113313200B (zh) * 2021-06-21 2024-04-16 中国科学院自动化研究所苏州研究院 一种基于法向约束的点云精匹配方法
CN113487633A (zh) * 2021-08-17 2021-10-08 熵智科技(深圳)有限公司 一种点云轮廓提取方法、装置、计算机设备及存储介质
CN114485608A (zh) * 2021-12-13 2022-05-13 武汉中海庭数据技术有限公司 一种用于高精度地图制作的局部点云快速配准方法
CN114485608B (zh) * 2021-12-13 2023-10-10 武汉中海庭数据技术有限公司 一种用于高精度地图制作的局部点云快速配准方法
CN116152303A (zh) * 2022-09-08 2023-05-23 上海贝特威自动化科技有限公司 一种基于几何空间一致性加权的二部图点云匹配算法
CN116152303B (zh) * 2022-09-08 2023-11-24 上海贝特威自动化科技有限公司 一种基于几何空间一致性加权的二部图点云匹配算法
CN117011128B (zh) * 2023-08-02 2024-02-13 广州知元科技有限责任公司 一种基于区域分解的三维模型自动配准方法及设备
CN117011128A (zh) * 2023-08-02 2023-11-07 广州知元科技有限责任公司 一种基于区域分解的三维模型自动配准方法及设备

Also Published As

Publication number Publication date
CN111815686B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN111815686B (zh) 基于几何特征由粗到细点云配准方法
CN109887015B (zh) 一种基于局部曲面特征直方图的点云自动配准方法
CN113012212B (zh) 一种基于深度信息融合的室内场景三维点云重建方法和系统
JP6216508B2 (ja) 3dシーンにおける3d物体の認識および姿勢決定のための方法
CN104392426B (zh) 一种自适应的无标志点三维点云自动拼接方法
Wang et al. A survey of iterative closest point algorithm
Tevs et al. Isometric registration of ambiguous and partial data
CN111080684B (zh) 一种点邻域尺度差异描述的点云配准方法
Mitra et al. Partial and approximate symmetry detection for 3d geometry
WO2015139574A1 (zh) 一种静态物体重建方法和系统
CN108830888B (zh) 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法
CN109903319B (zh) 一种基于多分辨率的快速迭代最近点配准算法
CN114972459B (zh) 一种基于低维点云局部特征描述符的点云配准方法
CN111986219B (zh) 一种三维点云与自由曲面模型的匹配方法
CN111768447B (zh) 一种基于模板匹配的单目相机物体位姿估计方法及系统
CN109523582B (zh) 一种顾及法向量和多尺度稀疏特征的点云粗配准方法
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN113516695B (zh) 激光轮廓仪平面度测量中的点云配准策略
CN113706381A (zh) 一种三维点云数据的拼接方法及装置
CN112200915B (zh) 一种基于靶标三维模型纹理影像的前后形变量检测方法
CN110942077B (zh) 基于权重局部变化度和l1中值优化的特征线提取方法
CN113313200B (zh) 一种基于法向约束的点云精匹配方法
CN116309026A (zh) 一种基于统计局部特征描述与匹配的点云配准方法及系统
CN117274339A (zh) 一种基于改进的iss-3dsc特征结合icp的点云配准方法
CN114494368A (zh) 一种结合降维投影和特征匹配的低重叠率点云配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant