CN112489094B - 一种多线机载激光雷达点云数据配准方法 - Google Patents

一种多线机载激光雷达点云数据配准方法 Download PDF

Info

Publication number
CN112489094B
CN112489094B CN202011341967.8A CN202011341967A CN112489094B CN 112489094 B CN112489094 B CN 112489094B CN 202011341967 A CN202011341967 A CN 202011341967A CN 112489094 B CN112489094 B CN 112489094B
Authority
CN
China
Prior art keywords
point
point cloud
cloud data
scanning
clouds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011341967.8A
Other languages
English (en)
Other versions
CN112489094A (zh
Inventor
胡钦俊
张娟
沈滨
陈杰
张志林
孙嫱
林火煅
张洁
燕正亮
徐瑞
周筑博
杨鹤猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Fujian Electric Power Co Ltd
Zhangzhou Power Supply Co of State Grid Fujian Electric Power Co Ltd
Tianjin Aerospace Zhongwei Date Systems Technology Co Ltd
Original Assignee
State Grid Fujian Electric Power Co Ltd
Zhangzhou Power Supply Co of State Grid Fujian Electric Power Co Ltd
Tianjin Aerospace Zhongwei Date Systems Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Fujian Electric Power Co Ltd, Zhangzhou Power Supply Co of State Grid Fujian Electric Power Co Ltd, Tianjin Aerospace Zhongwei Date Systems Technology Co Ltd filed Critical State Grid Fujian Electric Power Co Ltd
Priority to CN202011341967.8A priority Critical patent/CN112489094B/zh
Publication of CN112489094A publication Critical patent/CN112489094A/zh
Application granted granted Critical
Publication of CN112489094B publication Critical patent/CN112489094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及一种多线机载激光雷达点云数据配准方法,针对机载多线激光雷达数据特点实现多线激光点云数据的配准校正。通过从局部到整体的配准方法,先利用相邻局部扫描线数据相关性计算对点云进行初步配准,然后以位于最小扫描角上的整体扫描线点云进行基于特征点的点云配准。该方法能够得到传统方法所忽视的扫描线间的点云形变误差,对扫描线间点云坐标形变进行校正。

Description

一种多线机载激光雷达点云数据配准方法
技术领域
本发明涉及机载遥感数据处理领域,特别是一种多线机载激光雷达点云数据配准方法。
背景技术
随着激光扫描技术的快速发展,三维激光点云数据因获取途径广、扫描速度快和位置精度高等优点被广泛应用于社会生活的各个领域,如电力、林业、道路交通、城市规划等。
但因受到地形环境、激光雷达硬件设备水平等客观条件影响,所采集到的激光点云数据经常存在地物坐标偏移与错位,是地物产生扭曲变形,对后续激光点云处理效果造成干扰,进而影响点云数据在各行业领域的应用,因而需首先利用激光点云数据重叠区域进行配准处理。Besl等提出最近点迭代(Iterative Closest Point,ICP)算法,实现自由曲面配准和原始点云的自动配准,成为点云自动配准的基础算法,但此算法要求两组点云具有较高的重叠度;Mitra等基于欧式距离的思想计算出两组点云对应点间距离,利用点到点或点到面的方法进行配准;DiorAiger等提出了四点鲁棒性配置方法,在点云中选择共面点集中的任意四个点作为基准点,同时要求四点中任意三个点不在同一条直线上,在目标点集Y中检索出任意四个点的点对距离与源点集X中四个点的点对距离对应点大致相似的点云集,求出两个点集刚性变化值R和T,利用欧式距离的重复迭代运算求出最优变换值;赵夫群根据点云局部特征点的局部深度、法线偏角和点云密度等点云信息获取特征描述子,然后找出局部特征集之间相关性,提取出特征点集,剔除错误点,得到粗配准后的数据。
现有点云配准方法主要是针对不同时间、不同站点或不同平台所获取的激光雷达点云数据,而机载多线激光扫描仪所获取激光点云数据不仅存在不同航带间的错位偏移,同一航带中不同扫描线所获取的数据也同样存在错位。传统的点云配准方法并不能很好的消除多线激光雷达数据中由扫描线间误差所引起的地物错位偏移问题。
发明内容
有鉴于此,本发明的目的是提供一种多线机载激光雷达点云数据配准方法,解决机载多线激光雷达点云数据坐标错位偏移问题,通过局部扫描线点云之间的配准,能够得到传统方法所忽视的扫描线间的点云形变误差,对扫描线间点云坐标形变进行校正。
本发明采用以下方案实现:一种多线机载激光雷达点云数据配准方法,包括以下步骤:
步骤S1:进行基于扫描线的点云提取;
步骤S2:进行局部扫描线点云粗匹配;
步骤S3:进行基于特征点匹配的点云配准。
进一步地,所述步骤S1的具体内容为:多线激光雷达扫描仪通过以不同角度同时发射多束激光对地面地物进行点云数据采集,以预设GPS时间间隔,范围为15~20s,对激光点云数据按照不同扫描角度进行分离,获得各扫描线上GPS时间间隔内的激光点云数据。
进一步地,所述步骤S2的具体内容为:对各扫描线上点云数据按激光点发射的GPS时间戳进行先后排序,根据点云平面坐标变化获取点云数据走向;分别沿点云数据走向与垂直于走向方向,以预设分辨率间隔统计当前区间内最大高程值,得到各扫描线上点云在该方向上高程分布曲线;按照扫描角由外向内,分别依次计算各扫描线上点云与其相邻点云高程分布曲线在不同平移下的pearson相关系数,最大相关系数下的平移量即为两扫描线点云的平移位置关系即完成粗匹配;相关系数计算公式如下:
其中,Cov(z1,z2)为两点云高程值协方差,D(z1)、D(z2)分别为两点云高程值方差。
进一步地,所述步骤S3的具体内容为:通过激光点云数据自带扫描角参数将整个测区的点云按照扫描线进行分离,得到各扫描线上的整体点云,然后以最小扫描角的点云作为目标点云,利用基于曲率与法向量特征点的方法对各扫描线点云进行配准,用以消除各扫描线间点云的形变偏移;
基于曲率与法向量进行点云特征点提取,并在预设邻域约束下对特征点进行匹配;在点云数据中某一点及其预设邻域内的点组成的拟合平面,获取经过该点的一个曲平面Z=R(X,Y)逼近该点处的拟合平面,该点的曲率值为该点处形成的拟合平面的曲率值,计算每点处的主曲率k1、k2平均曲率H及高斯曲率K分别为:
其中,L=rxxn,N=ryyn,E=rxrx,F=rxry,rx、ry、rxx、ryy、rxy是曲面的偏微分,E、F、G为曲面第一基本不变量,L、M、N为第二基本不变量;
法向量是通过点云数据中某点及其周围1~2米范围内的就近点形成的拟合平面进行求取,假设某点P,计算该点及其就近点拟合平面的协方差矩阵为:
式中pi为坐标点集,p为点云集的平均值;通过协方差矩阵X计算其特征值,得到其最大特征值及相应最大特征向量;通过RANSAC算法对待配准点云与目标点云的特征点进行匹配;基于于随机抽样一致算法(Random Sample Consensus,RANSAC)重复迭代运算最终得到点云平移矩阵和旋转矩阵,从而对待配准点云进行坐标变换得到配准后点云。
与现有技术相比,本发明具有以下有益效果:
本发明通过对激光点云数据进行扫描线分离获得各扫描线上独立点云数据,基于特征点提取解算各扫描线点云之间的空间坐标对应关系,从而通过扫描线间点云的配准变换消除其形变,改善机载多线激光雷达点云数据质量。同时,能够得到传统方法所忽视的扫描线间的点云形变误差,对扫描线间点云坐标形变进行校正,改善了多线激光雷达点云数据偏移错位问题。
附图说明
图1为本发明实施例的方法流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例提供一种多线机载激光雷达点云数据配准方法,包括以下步骤:
步骤S1:进行基于扫描线的点云提取;
步骤S2:进行局部扫描线点云粗匹配;
步骤S3:进行基于特征点匹配的点云配准。
在本实施例中,所述步骤S1的具体内容为:多线激光雷达扫描仪通过以不同角度同时发射多束激光对地面地物进行点云数据采集,以预设GPS时间间隔,范围为15~20s,对激光点云数据按照不同扫描角度进行分离,获得各扫描线上GPS时间间隔内的激光点云数据。
在本实施例中,所述步骤S2的具体内容为:对各扫描线上点云数据按激光点发射的GPS时间戳进行先后排序,根据点云平面坐标变化获取点云数据走向;分别沿点云数据走向与垂直于走向方向,以预设分辨率间隔(间隔5米)统计当前区间内最大高程值,得到各扫描线上点云在该方向上高程分布曲线;按照扫描角由外向内,分别依次计算各扫描线上点云与其相邻点云高程分布曲线在不同平移下的pearson相关系数,最大相关系数下的平移量即为两扫描线点云的平移位置关系即完成粗匹配;相关系数计算公式如下:
其中,Cov(z1,z2)为两点云高程值协方差,D(z1)、D(z2)分别为两点云高程值方差。
在本实施例中,所述步骤S3的具体内容为:通过激光点云数据自带扫描角参数将整个测区的点云按照扫描线进行分离,得到各扫描线上的整体点云,然后以最小扫描角的点云作为目标点云,利用基于曲率与法向量特征点的方法对各扫描线点云进行配准,用以消除各扫描线间点云的形变偏移;
基于曲率与法向量进行点云特征点提取,并在预设邻域约束(10米半径范围)下对特征点进行匹配;在点云数据中某一点及其预设邻域内(3~5米范围)的点组成的拟合平面,获取经过该点的一个曲平面Z=R(X,Y)逼近该点处的拟合平面,该点的曲率值为该点处形成的拟合平面的曲率值,计算每点处的主曲率k1、k2平均曲率H及高斯曲率K分别为:
其中,L=rxxn,N=ryyn,E=rxrx,F=rxry,rx、ry、rxx、ryy、rxy是曲面的偏微分,E、F、G为曲面第一基本不变量,L、M、N为第二基本不变量;
法向量是通过点云数据中某点及其周围1~2米范围内的就近点形成的拟合平面进行求取,假设某点P,计算该点及其就近点拟合平面的协方差矩阵为:
式中pi为坐标点集,为点云集的平均值;通过协方差矩阵X计算其特征值,得到其最大特征值及相应最大特征向量;通过随机抽样一致算法(Random Sample Consensus,RANSAC)对待配准点云与目标点云的特征点进行匹配;基于RANSAC算法的重复迭代运算最终得到点云平移矩阵和旋转矩阵,从而对待配准点云进行坐标变换得到配准后点云。
针对机载多线激光雷达点云数据属性特点,本实施例通过激光点云GPS时、扫描角度信息对一定时间段内点云数据按照各扫描线进行分离提取,基于扫描线特征对不同隶属于扫描线的激光点云数据进行配准,具体技术流程如图1所示。
较佳的,本实施例基于扫描线信息实现多线激光点云数据配准校正,通过扫描线分离获得各扫描线上点云数据,以最小扫描角上扫描线点云为目标点云,利用曲率与法向量特征点提取与RANSAC解算扫描线间点云坐标旋转偏移参数,实现扫描线间点云坐标匹配;
本实施例利用从局部到整体的方法,先通过局部相邻扫描线点云间点云匹配,利用高程分布的pearson相关系数,初步对局部点云进行平移修正,然后基于此对整体点云进行特征点配准。
较佳的,本实施例针对机载多线激光雷达数据特点实现多线激光点云数据的配准校正。通过从局部到整体的配准方法,先利用相邻局部扫描线数据相关性计算对点云进行初步配准,然后以位于最小扫描角上的整体扫描线点云进行基于特征点的点云配准。该方法能够得到传统方法所忽视的扫描线间的点云形变误差,对扫描线间点云坐标形变进行校正。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (2)

1.一种多线机载激光雷达点云数据配准方法,其特征在于:包括以下步骤:
步骤S1:进行基于扫描线的点云提取;
步骤S2:进行局部扫描线点云粗匹配;
步骤S3:进行基于特征点匹配的点云配准;
所述步骤S2的具体内容为:对各扫描线上点云数据按激光点发射的GPS时间戳进行先后排序,根据点云平面坐标变化获取点云数据走向;分别沿点云数据走向与垂直于走向方向,以预设分辨率间隔统计当前区间内最大高程值,得到各扫描线上点云在该方向上高程分布曲线;按照扫描角由外向内,分别依次计算各扫描线上点云与其相邻点云高程分布曲线在不同平移下的pearson相关系数,最大相关系数下的平移量即为两扫描线点云的平移位置关系即完成粗匹配;相关系数计算公式如下:
其中,Cov(z1,z2)为两点云高程值协方差,D(z1)、D(z2)分别为两点云高程值方差;
所述步骤S3的具体内容为:通过激光点云数据自带扫描角参数将整个测区的点云按照扫描线进行分离,得到各扫描线上的整体点云,然后以最小扫描角的点云作为目标点云,利用基于曲率与法向量特征点的方法对各扫描线点云进行配准,用以消除各扫描线间点云的形变偏移;
基于曲率与法向量进行点云特征点提取,并在预设邻域约束下对特征点进行匹配;在点云数据中某一点及其预设邻域内的点组成的拟合平面,获取经过该点的一个曲平面Z=R(X,Y)逼近该点处的拟合平面,该点的曲率值为该点处形成的拟合平面的曲率值,计算每点处的主曲率k1、k2平均曲率H及高斯曲率K分别为:
其中,L=rxxn,N=ryyn,E=rxrx,F=rxry,rx、ry、rxx、ryy、rxy是曲面的偏微分,E、F、G为曲面第一基本不变量,L、M、N为第二基本不变量;
法向量是通过点云数据中某点及其周围1~2米范围内的就近点形成的拟合平面进行求取,假设某点P,计算该点及其就近点拟合平面的协方差矩阵为:
式中pi为坐标点集,为点云集的平均值;通过协方差矩阵X计算其特征值,得到其最大特征值及相应最大特征向量;通过RANSAC算法对待配准点云与目标点云的特征点进行匹配;基于随机抽样一致算法重复迭代运算最终得到点云平移矩阵和旋转矩阵,从而对待配准点云进行坐标变换得到配准后点云。
2.根据权利要求1所述的一种多线机载激光雷达点云数据配准方法,其特征在于:所述步骤S1的具体内容为:多线激光雷达扫描仪通过以不同角度同时发射多束激光对地面地物进行点云数据采集,以预设GPS时间间隔,范围为15~20s,对激光点云数据按照不同扫描角度进行分离,获得各扫描线上GPS时间间隔内的激光点云数据。
CN202011341967.8A 2020-11-25 2020-11-25 一种多线机载激光雷达点云数据配准方法 Active CN112489094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011341967.8A CN112489094B (zh) 2020-11-25 2020-11-25 一种多线机载激光雷达点云数据配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011341967.8A CN112489094B (zh) 2020-11-25 2020-11-25 一种多线机载激光雷达点云数据配准方法

Publications (2)

Publication Number Publication Date
CN112489094A CN112489094A (zh) 2021-03-12
CN112489094B true CN112489094B (zh) 2023-08-04

Family

ID=74934453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011341967.8A Active CN112489094B (zh) 2020-11-25 2020-11-25 一种多线机载激光雷达点云数据配准方法

Country Status (1)

Country Link
CN (1) CN112489094B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113393504A (zh) * 2021-05-28 2021-09-14 广东电网有限责任公司广州供电局 一种开关柜点云配准方法、系统、计算机设备及存储介质
CN113515513B (zh) * 2021-06-30 2023-04-21 同济大学 轨迹矫正方法及装置、点云地图生成方法及装置
CN113554759B (zh) * 2021-07-26 2024-05-14 河南德拓信息科技有限公司 一种煤炭运输遗撒智能监测分析方法、装置和设备
CN113484875B (zh) * 2021-07-30 2022-05-24 燕山大学 一种基于混合高斯排序的激光雷达点云目标分级识别方法
CN113837326B (zh) * 2021-11-30 2022-03-25 自然资源部第一海洋研究所 一种基于特征曲线的机载激光测深数据配准方法
CN115546266B (zh) * 2022-11-24 2023-03-17 中国铁路设计集团有限公司 基于局部法向相关的多条带机载激光点云配准方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952107A (zh) * 2015-05-18 2015-09-30 湖南桥康智能科技有限公司 基于车载LiDAR点云数据的桥梁三维重建方法
WO2018205119A1 (zh) * 2017-05-09 2018-11-15 深圳市速腾聚创科技有限公司 基于激光雷达扫描的路沿检测方法和系统
CN111080684A (zh) * 2019-12-12 2020-04-28 哈尔滨工程大学 一种点邻域尺度差异描述的点云配准方法
CN111145227A (zh) * 2019-12-17 2020-05-12 北京建筑大学 一种地下隧道空间多视点云的可迭代整体配准方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952107A (zh) * 2015-05-18 2015-09-30 湖南桥康智能科技有限公司 基于车载LiDAR点云数据的桥梁三维重建方法
WO2018205119A1 (zh) * 2017-05-09 2018-11-15 深圳市速腾聚创科技有限公司 基于激光雷达扫描的路沿检测方法和系统
CN111080684A (zh) * 2019-12-12 2020-04-28 哈尔滨工程大学 一种点邻域尺度差异描述的点云配准方法
CN111145227A (zh) * 2019-12-17 2020-05-12 北京建筑大学 一种地下隧道空间多视点云的可迭代整体配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于激光强度分类的机载与地面激光雷达点云配准方法;郭王;程效军;;激光与光电子学进展(第06期);全文 *
点云多法向量邻域特征配准算法;陆军;彭仲涛;夏桂华;;光电子・激光(第04期);全文 *

Also Published As

Publication number Publication date
CN112489094A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112489094B (zh) 一种多线机载激光雷达点云数据配准方法
CN111598823B (zh) 多源移动测量点云数据空地一体化融合方法、存储介质
CN109544612B (zh) 基于特征点几何表面描述的点云配准方法
CN107203973B (zh) 一种三维激光扫描系统中线激光中心的亚像素定位方法
CN101311963B (zh) 摄像机定位用圆标志点圆心的图像投影点位置的获取方法
CN110569861B (zh) 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN101303768A (zh) 圆形标志点在摄像机透视投影变换时圆心偏差的修正方法
CN109472816B (zh) 一种点云配准方法
CN108562885B (zh) 一种高压输电线路机载LiDAR点云提取方法
CN110211178B (zh) 一种利用投影计算的指针式仪表识别方法
CN109508709B (zh) 一种基于机器视觉的单指针仪表读数方法
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN110415296B (zh) 一种有阴影光照下矩形状电器件的定位方法
CN113643371B (zh) 一种飞行器模型表面标记点的定位方法
CN109359604B (zh) 面向巡检机器人的阴影干扰下仪表识别方法
CN111415376A (zh) 汽车玻璃亚像素轮廓提取方法及汽车玻璃检测方法
CN112762910A (zh) 一种适用于激光扫描仪的短测程改正标定方法
CN111507186A (zh) 一种变电站指针式仪表读数识别方法
CN114863376A (zh) 一种基于车载激光点云数据的道路标线分割方法及系统
CN110288620B (zh) 基于线段几何特征的图像匹配方法及飞行器导航方法
CN114332486A (zh) 圆钢印中心点的视觉精密测量方法
CN110927765B (zh) 激光雷达与卫星导航融合的目标在线定位方法
CN113221883A (zh) 无人机飞行导航路线实时修正方法
CN110554405B (zh) 一种基于组合聚类的正态扫描配准方法和系统
CN112651943A (zh) 一种三维影像标记点提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant