CN112884886A - 一种自适应搜索半径的三维点云管道提取与建模方法 - Google Patents

一种自适应搜索半径的三维点云管道提取与建模方法 Download PDF

Info

Publication number
CN112884886A
CN112884886A CN202110288746.7A CN202110288746A CN112884886A CN 112884886 A CN112884886 A CN 112884886A CN 202110288746 A CN202110288746 A CN 202110288746A CN 112884886 A CN112884886 A CN 112884886A
Authority
CN
China
Prior art keywords
point
pipeline
point cloud
calculating
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110288746.7A
Other languages
English (en)
Other versions
CN112884886B (zh
Inventor
杨帆
张驰
张季一
王英利
曹鑫亮
车明亮
陆佩华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202110288746.7A priority Critical patent/CN112884886B/zh
Publication of CN112884886A publication Critical patent/CN112884886A/zh
Application granted granted Critical
Publication of CN112884886B publication Critical patent/CN112884886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种自适应搜索半径的三维点云管道提取与建模方法，该方法首先对原始点云进行重采样，得到密度相对均匀的采样点云；利用局部采样点其邻域内点云的对称性计算近邻点集的对称平面；接着计算邻域点云的管道走向，根据走向获取管道纵剖面点云切片，利用圆拟合计算管道中轴点。通过对采样点集的每个点进行同样的计算，得到整个管道的中轴点集。在计算的过程中通过自适应的变化搜索半径，以适应不同直径的管道中轴点集提取。接着利用曲线追踪方法提取管道的中轴线，根据提取的中轴线构建管道三维模型，实现最终的三维管道模型构建。该方法可以应用于激光扫描管道过程中产生一定程度数据缺失和噪声情况下三维点云管道的提取。

Description

一种自适应搜索半径的三维点云管道提取与建模方法
技术领域
本发明涉及一种自适应搜索半径的三维点云管道提取与建模方法，移动激光测量和地图制图技术领域。
背景技术
目前，三维激光扫描技术快速发展，已经成为一种重要的测量数据获取手段，为测绘领域带来了全新的技术革命，广泛应用于城市建模、文物保护、逆向工程、自动驾驶等领域。基于三维激光扫描进行三维模型重建具有非接触测量、数据采样率高、高精度、高分辨率、全景化扫描等特点，可以大幅节约时间，降低成本。地面三维激光扫描技术能够提供扫描物体表面的三维点云数据，与激光测距技术相比，激光测距是点对点的测量，而地面三维激光扫描技术将传统的人工单点数据获取的方式转变为连续自动批量获取数据的方式。目前有多种激光测量手段获取激光点云数据，根据搭载平台的不同可以分为：机载激光测量(Airborne laser scanning，ALS)，地面激光测量(Terrestrial laser scanning，TLS)和移动激光测量(Mobile laser scanning，MLS)。
在城市环境和工厂环境中，存在大量的管道设施，如何利用激光测量设备实现管道模型的快速建模，满足日益增长的现势测量需要，是当前需要解决的重要技术问题。现有的三维点云管道提取方法大多依赖于一定的人工干预，人工成本较高。一些自动化拟合圆柱体的方法可以完成一些简单的管道建模工作，难以满足工业环境中复杂场景的管道建模需要，如大量不同直径的三维管道，点云存在一定程度数据缺失和点云噪声的管道建模
发明内容
针对上述现有技术存在的问题，本发明提供一种自适应搜索半径的三维点云管道提取与建模方法，从而实现从三维点云数据中提取三维管道信息，构建管道三维模型
为了实现上述目的，本发明采用的技术方案是：一种自适应搜索半径的三维点云管道提取与建模方法，包括以下步骤；
步骤一：点云重采样，可以采用体素滤波或者八叉树重采样方法，对原始点云P进行重采样，使得点云的密度相对均匀，得到重采样点云P′；
步骤二：管道中轴点集计算；该方法首先利用局部采样点其邻域内点云的镜面对称性，计算近邻点集的镜面对称平面，接着计算邻域内局部点云的管道走向，根据管道走向获取管道纵剖面点云，利用随机采样一致性算法拟合圆计算管道中轴点，通过对采样点云重复计算得到整个管道走向的中轴点集，在计算的过程中通过自适应的变化搜索半径，以适应不同直径的管道中轴线点集提取；
步骤三：管道中轴线提取；利用曲线追踪方法提取管道的中轴线；
步骤四：管道三维模型重建，根据提取的中轴线构建管道三维模型，实现最终的三维管道模型构建；对提取的管道中轴线集合L，遍历每一条管道中轴线，对管道中轴线进行平滑，根据落在管道中轴线上圆心点集合中所有圆半径的中值作为管道的半径进行模型恢复。
优选的所述的步骤二中关于管道中轴点集计算的具体实现步骤为：
2.1设置随机选择采样点数目为n，设置点云搜索半径Rmax，Rmin；
2.2根据采样点数目为n，对点云P′进行降采样，得到随机点云Pdown；
2.3对P′构造K-D树kd_search，遍历Pdown中的每一个点p，在kd_search中寻找点p的近邻点，得到邻域点集N，当前搜索半径r＝Rmax-i*r_interval；
2.4根据点p的邻域点集N进行镜面对称分析，获取点集合N的对称平面plane，如果无法获取对称平面，则跳过该点p；
2.5根据对称平面plane和邻域点集N计算交线，交线的方向向量为管道的走向向量dir；
2.6根据走向向量dir和邻域点集N计算纵剖面，得到纵剖面点集Pcircle，计算剖面的宽度l，如果不满足sin2π/3≤l/r≤sin4π/3，跳过该点p；利用随机采样一致性算法，根据纵剖面的点集Pcircle进行圆拟合，如果满足条件的点灵敏目minlier/纵剖面点集Pcircle点数≤0.8，跳过该点，否则将圆心O(x，y，z)和拟合圆半径rcircle加入点集Pcenters。
优选的，所述步骤2.4中镜面对称分析的具体实现步骤为：
3.1，利用主成份分析(PCA)对邻域点集N进行特征值分解，得到特征值λ1≤λ2≤λ3和对应的特征向量
Figure BDA0002980719100000031
取特征值λ2的特征向量作为初始对称平面的法向量。
3.2，镜面对称分析对应于求解以下最小二乘问题，对于领域N内的点，假设点p’是pi的镜面对称对应点，即在镜面对称Srefl下，两个点“反射”到彼此上，即p’类似于Srefl(pi)，Srefl(pi)表示p’的对称点；设Srefl＝{p，n}表示一个对称平面，该对称平面由平面中的一个点p和平面的法线n表示，给定邻域点集N中的一个点，通过在对称平面上反射它并在一个固定半径内搜索最近的邻居来找到它的镜面对称对应关系。
优选的，当建立了镜面对称点对的对应关系后，可以通过最小化镜面反射点与其对称点之间的点到点的距离来对初始对称平面进行优化；利用Levenberg-Marquardt算法对该问题进行优化求解，目标函数如下：
Figure BDA0002980719100000032
本发明的有益效果是：本发明可以应用于管道扫描过程中产生点云数据缺失和存在一定程度噪声的情况下实现三维点云管道的提取与建模。本发明可以快速提取三维点云中的管道，对于点云数据的快速建模和语义识别都具有重要的意义。相比于现有技术，本发明具有一定的实用性和易用性。
附图说明
图1为本发明的技术流程图；
图2是本发明管道采样点局部近邻N及PCA计算得到的三个特征向量；
图3为本发明的实施例中原始点云和本发明的实验过程及结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。
除非另有定义，本文所使用的所有的技术术语和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
如图1所示，本发明提供一种基于三维点云进行管道提取与建模的方法，适用于居民建筑、工厂环景等包含管道设施的三维管道模型构建。
技术方案：一种自适应搜索半径的三维点云管道提取与建模方法，包括如下步骤：
步骤一：点云重采样，采用体素滤波或者八叉树重采样方法，对原始点云P进行重采样，使得点云的密度相对均匀，得到重采样点云P’。
步骤二：管道中轴点集计算；该方法首先利用局部采样点其邻域内点云的对称性计算近邻点集的对称平面，接着计算邻域点云的管道走向，根据走向获取管道纵剖面点云，利用圆拟合计算管道中轴点，通过反复计算得到整个管道的走向中轴点集。在计算的过程中通过自适应的变化搜索半径，以适应不同直径的管道中轴点集提取。包括以下子步骤：
2.1设置随机选择采样点数目为n，设置点云搜索半径Rmax，Rmin；
2.2根据采样点数目为n，对点云P′进行降采样，得到随机点云Pdown。
2.3对P′构造K-D树kd_search，遍历Pdown中的每一个点p，在kd_search中寻找点p的近邻点，得到邻域点集N，当前搜索半径r＝Rmax-i*r_interval。
2.4根据邻域点集N，进行镜面对称分析。镜面对称分析对应于求解以下最小二乘问题，对于领域N内的点，假设点p’是pi的镜面对称对应点，即在镜面对称Srefl下，两个点“反射”到彼此上，即p’类似于Srefl(pi)，Srefl(pi)表示p’的对称点。设Srefl＝{p，n}表示一个对称平面，该对称平面由平面中的一个点p和平面的法线n表示，给定一个线段中的一个点，我们通过在对称平面上反射它并在一个固定半径内搜索最近的邻居来找到它的镜面对称对应关系。需要说明的是，由于场景中的遮挡，不能保证在点集中找到每个点的对应关系。建立了镜面对称点对的对应关系后，可以通过最小化镜面反射点与其对称点之间的点到点的距离来对初始对称平面进行优化。利用Levenberg-Marquardt算法对该问题进行优化求解，目标函数如下：
Figure BDA0002980719100000051
如图2所示，利用主成份分析(PCA)对邻域点集N进行特征值分解，得到特征值λ1≤λ2≤λ3和对应的特征向量
Figure BDA0002980719100000052
取特征值λ2的特征向量作为初始对称平面的法向量。获取邻域点集合N的对称平面plane，如果无法获取对称平面，则跳过该点p。
2.5根据对称平面plane和邻域点集N计算交线，交线的方向向量为管道的走向dir。
2.6根据走向dir和邻域点集N计算纵剖面，得到纵剖面点集Pcircle,计算剖面的宽度l，如果不满足sin2π/3≤l/r≤sin4π/3,跳过该点p。利用随机采样一致性算法(RANSAC)，根据纵剖面的点集Pcircle进行圆拟合，如果满足条件的内点数目minlier/纵剖面点集Pcircle点数≤0.8，跳过该点，否则将圆心O(x，y，z)和圆的半径值rcircle加入点集Pcenters。
步骤三：管道中轴线提取，包括以下子步骤：
3.1对点集Pcenters进行阈值分割，根据半径rcircle分割出小于给定阈值的点。
3.2利用带规整项的Mean-shift算法对点云进行细化。算法中采用的带规整项Mean-shift算法构造公式如下：
Figure BDA0002980719100000061
Figure BDA0002980719100000062
Figure BDA0002980719100000063
其中，第一项为经典的Mean-shift算法；第二项是一个规整项，防止用于细化的采样点在收缩到其局部中心位置时过分聚集；λ是两项之间的平衡常数，一般采用经验值μ＝0.35；
3.3接着对管道中轴点集Pcenters利用双半径阈值曲线追踪方法提取管道的中轴线。采用的双半径阈值线追踪方法算法步骤包括：
(1)构建管道中轴点集Pcenters的KD树；
(2)随机选择一个点(非分支点，未访问)，对点搜索其d2半径范围内的近邻点，根据近邻点集合Q计算点云的PCA主方向。沿着主方向进行搜索，接着沿着主方向的逆方向进行搜索。
(3)遍历半径d2内的近邻点，获取所有到当前点的距离大于d1的点，判断点集中与主方向夹角小于Δθ(如采用角度阈值为30度)，并将夹角最小的点作为新的当前点加入管道曲线分支，加入分支的点标记为管道节点。小于d1的点全部标记为已访问。
(4)直到没有满足条件的近邻点，将两条沿相反方向搜索的曲线合并，返回该管道曲线。
(5)重复步骤(2)-(4)，直到所有的中轴点都被标记为已访问和分支点。
步骤四：管道三维模型重建，根据提取的中轴线构建管道三维模型，实现最终的三维管道模型构建。对提取的管道中轴线集合L，遍历每一条管道中轴线，对管道进行平滑，根据落在管道中轴线上点集合圆半径中值作为管道的半径进行模型恢复。
实施例
本发明实现的自适应搜索半径的三维点云管道提取与建模方法，包含以下步骤：
步骤一：如图3(a)，给定一个原始点云P，原始点云存在一定程度的噪声和数据缺失，点云密度不均匀。首先对原始点云进行重采样，采用体素滤波方法，得到重采样点云P′，点云的密度均匀，采样后点云如图3(b)。
步骤二：计算管道中轴点集；该方法首先利用局部采样点其邻域内点云的对称性计算近邻点集的对称平面，接着计算邻域点云的管道走向，根据走向获取管道纵剖面点云，利用圆拟合计算管道中轴点，通过反复计算得到整个管道的走向中轴点集。在计算的过程中通过自适应的变化搜索半径，以适应不同直径的管道中轴点集提取，如图3(c)。
步骤三：管道中轴线提取；如图3(d)，利用改进Mean-shift算法进行点云细化。如图3(e)接着曲线追踪方法提取管道的中轴线。
步骤四：管道三维模型恢复，根据提取的中轴线构建管道三维模型，实现最终的三维管道模型构建。如图3(e)，对提取的管道中心线集合L，遍历每一条管道中轴线，对管道中轴线进行平滑，根据落在管道中轴线上圆心点集合中所有圆半径的中值作为管道的半径进行模型恢复，最终构建的管道三维模型如图3(f)所示。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种自适应搜索半径的三维点云管道提取与建模方法，其特征在于，包括以下步骤；
步骤一：点云重采样，可以采用体素滤波或者八叉树重采样方法，对原始点云P进行重采样，使得点云的密度相对均匀，得到重采样点云P′；
步骤二：管道中轴点集计算；该方法首先利用局部采样点其邻域内点云的镜面对称性，计算近邻点集的镜面对称平面，接着计算邻域内局部点云的管道走向，根据管道走向获取管道纵剖面点云，利用随机采样一致性算法拟合圆计算管道中轴点，通过对采样点云重复计算得到整个管道走向的中轴点集，在计算的过程中通过自适应的变化搜索半径，以适应不同直径的管道中轴线点集提取；
步骤三：管道中轴线提取；利用曲线追踪方法提取管道的中轴线；
步骤四：管道三维模型重建，根据提取的中轴线构建管道三维模型，实现最终的三维管道模型构建；对提取的管道中轴线集合L，遍历每一条管道中轴线，对管道中轴线进行平滑，根据落在管道中轴线上圆心点集合中所有圆半径的中值作为管道的半径进行模型恢复。
2.根据权利要求1所述的一种自适应搜索半径的三维点云管道提取与建模方法，其特征在于，所述的步骤二中关于管道中轴点集计算的具体实现步骤为：
2.1设置随机选择采样点数目为n，设置点云搜索半径Rmax，Rmin；
2.2根据采样点数目为n，对点云P′进行降采样，得到随机点云Pdown；
2.3对P′构造K-D树kd_search，遍历Pdown中的每一个点p，在kd_search中寻找点p的近邻点，得到邻域点集N，当前搜索半径r＝Rmax-i*r_interval；
2.4根据点p的邻域点集N进行镜面对称分析，获取点集合N的对称平面plane，如果无法获取对称平面，则跳过该点p；
2.5根据对称平面plane和邻域点集N计算交线，交线的方向向量为管道的走向向量dir；
2.6根据走向向量dir和邻域点集N计算纵剖面，得到纵剖面点集Pcircle，计算剖面的宽度l，如果不满足sin2π/3≤l/r≤sin4π/3，跳过该点p；利用随机采样一致性算法，根据纵剖面的点集Pcircle进行圆拟合，如果满足条件的点数目minlier/纵剖面点集Pcircle点数≤0.8，跳过该点，否则将圆心O(x，y，z)和拟合圆半径rcircle加入点集Pcenters。
3.根据权利要求2所述的一种自适应搜索半径的三维点云管道提取与建模方法，其特征在于，所述步骤2.4中镜面对称分析的具体实现步骤为：
3.1.利用主成份分析(PCA)对邻域点集N进行特征值分解，得到特征值λ1≤λ2≤λ3和对应的特征向量
Figure FDA0002980719090000021
取特征值λ2的特征向量作为初始对称平面的法向量；
3.2.镜面对称分析对应于求解以下最小二乘问题，对于领域N内的点，假设点p’是pi的镜面对称对应点，即在镜面对称Srefl下，两个点“反射”到彼此上，即p’类似于Srefl(pi)，Srefl(pi)表示p’的对称点；设Srefl＝{p，n}表示一个对称平面，该对称平面由平面中的一个点p和平面的法线n表示，给定邻域点集N中的一个点，通过在对称平面上反射它并在一个固定半径内搜索最近的邻居来找到它的镜面对称对应关系。
4.根据权利要求3所述的一种自适应搜索半径的三维点云管道提取与建模方法，其特征在于，当建立了镜面对称点对的对应关系后，可以通过最小化镜面反射点与其对称点之间的点到点的距离来对初始对称平面进行优化；利用Levenberg-Marquardt算法对该问题进行优化求解，目标函数如下：
Figure FDA0002980719090000022
CN202110288746.7A 2021-03-17 2021-03-17 一种自适应搜索半径的三维点云管道提取与建模方法 Active CN112884886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110288746.7A CN112884886B (zh) 2021-03-17 2021-03-17 一种自适应搜索半径的三维点云管道提取与建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110288746.7A CN112884886B (zh) 2021-03-17 2021-03-17 一种自适应搜索半径的三维点云管道提取与建模方法

Publications (2)

Publication Number Publication Date
CN112884886A true CN112884886A (zh) 2021-06-01
CN112884886B CN112884886B (zh) 2023-08-25

Family

ID=76040975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110288746.7A Active CN112884886B (zh) 2021-03-17 2021-03-17 一种自适应搜索半径的三维点云管道提取与建模方法

Country Status (1)

Country Link
CN (1) CN112884886B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313835A (zh) * 2021-07-29 2021-08-27 深圳市数字城市工程研究中心 一种基于机载LiDAR点云的建筑物屋顶自动建模方法
CN113628224A (zh) * 2021-08-09 2021-11-09 南通大学 一种基于三维欧式距离变换的房间分割方法
WO2023096579A3 (en) * 2021-11-26 2023-08-17 Nanyang Technological University Method and system for building information modeling (bim) reconstruction for a piping system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722907A (zh) * 2012-05-22 2012-10-10 清华大学 基于管道工厂点云的几何建模方法
CN109147038A (zh) * 2018-08-21 2019-01-04 北京工业大学 基于三维点云处理的管道三维建模方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722907A (zh) * 2012-05-22 2012-10-10 清华大学 基于管道工厂点云的几何建模方法
CN109147038A (zh) * 2018-08-21 2019-01-04 北京工业大学 基于三维点云处理的管道三维建模方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
邵为真;刘春晓;邵帅;井文胜;: "三维激光扫描技术在石化企业管道建模中的应用", 测绘与空间地理信息, no. 07 *
陆济湘;南良改;: "一种新的基于重采样的曲线重建算法", 武汉理工大学学报(信息与管理工程版), no. 06 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313835A (zh) * 2021-07-29 2021-08-27 深圳市数字城市工程研究中心 一种基于机载LiDAR点云的建筑物屋顶自动建模方法
CN113628224A (zh) * 2021-08-09 2021-11-09 南通大学 一种基于三维欧式距离变换的房间分割方法
CN113628224B (zh) * 2021-08-09 2023-12-19 南通大学 一种基于三维欧式距离变换的房间分割方法
WO2023096579A3 (en) * 2021-11-26 2023-08-17 Nanyang Technological University Method and system for building information modeling (bim) reconstruction for a piping system

Also Published As

Publication number Publication date
CN112884886B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN112884886B (zh) 一种自适应搜索半径的三维点云管道提取与建模方法
CN109147038B (zh) 基于三维点云处理的管道三维建模方法
WO2024077812A1 (zh) 基于点云语义分割与结构拟合的单体建筑三维重建方法
CN112767490B (zh) 一种基于激光雷达的室外三维同步定位与建图方法
CN111986115A (zh) 激光点云噪声和冗余数据的精准剔除方法
CN110222642B (zh) 一种基于全局图聚类的平面建筑构件点云轮廓提取方法
CN109949350B (zh) 一种基于形态不变特征的多时相点云自动配准方法
Li et al. An automatic tree skeleton extracting method based on point cloud of terrestrial laser scanner
CN112396641B (zh) 一种基于全等二基线匹配的点云全局配准方法
CN110111375B (zh) 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置
Hu et al. Efficient and automatic plane detection approach for 3-D rock mass point clouds
CN109523582B (zh) 一种顾及法向量和多尺度稀疏特征的点云粗配准方法
Hu et al. An automatic 3D registration method for rock mass point clouds based on plane detection and polygon matching
CN110288620B (zh) 基于线段几何特征的图像匹配方法及飞行器导航方法
CN112330604B (zh) 一种从点云数据生成矢量化道路模型的方法
Fu et al. Terrestrial laser scanning assisted dimensional quality assessment for space frame components
CN111339342B (zh) 一种基于角度三元中心损失的三维模型检索方法
Xin et al. Accurate and complete line segment extraction for large-scale point clouds
Zhang et al. Accurate real-time SLAM based on two-step registration and multimodal loop detection
CN108074253B (zh) 一种基于Delaunay三角剖分的多层级矢量道路网匹配方法
Yuan et al. Automatic cables segmentation from a substation device based on 3D point cloud
CN114841204A (zh) 一种管道声呐点云去噪方法和系统
CN114782689A (zh) 一种基于多帧数据融合的点云平面分割方法
CN115131417A (zh) 激光点云2d-3d双模态交互增强不规则电线检测方法
CN111899291A (zh) 基于多源维度分解的城市点云从粗到精的自动配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant