CN104966287B - 层次化的多片点云刚性配准方法 - Google Patents
层次化的多片点云刚性配准方法 Download PDFInfo
- Publication number
- CN104966287B CN104966287B CN201510310571.XA CN201510310571A CN104966287B CN 104966287 B CN104966287 B CN 104966287B CN 201510310571 A CN201510310571 A CN 201510310571A CN 104966287 B CN104966287 B CN 104966287B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- ring
- rigid
- point
- rigid body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013517 stratification Methods 0.000 title abstract 2
- 238000009792 diffusion process Methods 0.000 claims abstract description 12
- 238000006798 ring closing metathesis reaction Methods 0.000 claims abstract 2
- 230000009466 transformation Effects 0.000 claims description 52
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000011541 reaction mixture Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种层次化的多片点云刚性配准方法，包括以下步骤：(1)根据多片点云之间的重叠关系构建连接关系图；(2)将每两片有连接关系的点云分别进行刚性配准；(3)提取点云连接关系图中独立的环；(4)根据点云刚性配准结果计算每个独立的环的闭合程度；(5)根据每个独立的环闭合程度的高低确定先后顺序，依次对每个独立的环进行封闭操作；(6)对所述连接关系图进行全局误差扩散。本发明能对多片点云进行刚性配准并保证点云之间刚体变换的封闭性，具有配准误差小，运算效率高和对点云初始位置条件依赖性低的优点。
Description
技术领域
本发明涉及计算机图形中的面向真实物体的3D建模领域，具体涉及一种用于凭借三维表面数据获取设备对真实物体进行3D建模时层次化的多片点云刚性配准方法。
背景技术
所谓多片点云刚性配准是指通过刚体变换对多片有重叠关系的点云进行位置对齐的过程。通常这些点云数据都是利用三维数据获取设备，如三维扫描仪器，采集到的物体的三维表面数据。所谓点云就是由一些离散的三维点组成的集合。对齐的目的是为了将点云之间有重叠的部分在空间位置上保持一致，这样才能构成一个完整的物体的表面。多片点云刚性配准研究具有重要意义，因为利用三维获取设备对真实世界的物体建模已经被广泛应用于三维建模的领域中，可以省去大量的手工建模操作并捕获更多模型的细节。无论是小型的物体或是大型的建筑，甚至整个城市都可以利用三维数据获取设备采集表面的点云数据。这些点云数据最初都位于独立的局部坐标系内，对它们进行配准采用统一到全局的坐标系下，因此，配准是对真实物体进行三维建模时不可缺少的关键步骤。
目前，现存相当数量的各式各样的点云刚性配准算法，例如著名的IterativeClosest Point(ICP)算法等。然而现存的诸多算法在多片点云配准时存在相当大的不足。ICP算法最大的不足在于它只能对两片点云进行配准，而且简单的利用ICP算法对多片点云进行串行的配准时又会产生刚体变换不封闭的问题。多片点云配准技术目前还没有发展到如双片点云配准技术那么成熟。该类算法一般首先对点云进行两两的刚性配准，然后检测刚体变换是否在环中保持封闭，如果不封闭，则通过微调使其保持封闭。该类算法虽然复杂度低，在点云两两刚性配准的结果理想的情况，也能得到较好的结果。随着点云片数的增多，点云初始位置的条件变差，算法鲁棒性会下降，最终配准的结果可能会有错误或者陷入了局部最优解。
发明内容
本发明要解决的技术问题是提供一种能够对多片点云进行高精度的刚性配准并保证配准的封闭性、运算效率高、对点云初始位置条件依赖性低的多片点云刚性配准方法。
为解决上述技术问题，本发明采用的技术方案为：
一种层次化的多片点云刚性配准方法，包括：
(1)建立表示多片点云之间重叠关系的连接关系图，图中的每个节点表示一片点云，每条边连接两片有重叠关系的点云；
(2)将所述连接关系图中每两片有连接关系的点云分别进行刚性配准，记录刚性配准后两片点云之间的刚体变换、重叠面积以及点与点的对应关系；
(3)以步骤(2)计算得到每两片点云之间的重叠面积为权重，提取出所述连接关系图中的最大生成树，再以此最大生成树为基准，根据最大化重叠面积和最短化环路长度的原则，提取出所述连接关系图中的所有独立的环；
(4)根据步骤(2)得到每两片点云之间的刚体变换和点与点的对应关系，计算步骤(3)中提取的每个独立的环的闭合程度；
(5)对步骤(3)提取的每个独立的环依次进行封闭操作以优化各片点云的刚体变换，使优化后的各片点云之间的相对刚体变换满足刚体变换的一致性；
(6)对优化后的所有点云进行全局的配准误差扩散操作以完成刚性配准。
本发明的层次化的多片点云刚性配准方法中：
作为优选，步骤(3)中，最大化重叠面积和最短化环路长度的原则为：提取独立的环时，按权重从大到小开始逐条加边，每加一条边提取出一个路径长度最短的环。
作为优选，步骤(4)中，计算独立的环闭合程度的方式为最小化以下函数：
其中，和是该函数自变量，分别表示作用于该环中第t和第t+1片点云的刚体变换；
L表示该环中点云的片数；
Nt是步骤(2)计算得到的第t和第t+1片点云之间的对应点数目；
和是步骤(2)计算得到的分别位于第t和第t+1片点云中的一组对应点，其中i为所有对应点的索引号；
ψt是步骤(2)计算得到的第t片点云相对于第t+1片点云的刚体变换；
是ψt的逆变换；
表示第t片点云中的点经过刚体变换ψt后的结果，表示第t+1片点云中的点经过刚体变换后的结果。
Eclosure值越小表示该环闭合程度越高。
步骤(5)中，对每个独立的环依次进行封闭操作的顺序由每个独立的环的闭合程度高低来确定，闭合程度高的环优先封闭。
作为优选，一个独立的环被进行了封闭操作后，先将该独立的环融合为一个整体的新点云，并更新所述连接关系图，然后将该新点云进行刚性配准，并计算与新点云相关的新环的闭合程度。
步骤(5)中，对步骤(3)提取的每个独立的环依次进行封闭操作的顺序由步骤(4)计算得到的环的闭合程度的高低来确定，闭合程度高的环优先封闭；在此过程中，当一个环被进行了封闭操作后，先将该环融合为一个整体的“点云组”(即新点云)并更新所述连接关系图，然后根据步骤(2)的方法将该新点云与其他有连接关系的点云进行刚性配准并计算所述连接关系图中产生的与新点云相关的新环的闭合程度；之后才对下一个闭合程度最高环(既包括原有的环也包括新环)进行封闭操作，直至封闭所以独立的环。
步骤(5)中，对每个独立的环进行封闭操作的方法直接利用了步骤(4)得到的优化结果，即将步骤(4)计算该环闭合程度时得到的最优变量作用于该环中对应的每片点云上；
其中，表示作用于该环中第t片点云的刚体变换；
L表示该环中点云的片数。
作为优选，步骤(6)中，所述全局配准误差扩散操作的方法是最小化以下函数表达式：
其中，和是该函数的自变量，分别表示作用于所述连接关系图中有连接关系的第α和第β片点云的刚体变换；
P表示所述连接关系图中有连接关系的点云的对数；
Nμ是经过步骤(5)之后得到的更新的第α和第β片点云之间的对应点数目；
和是经过步骤(5)之后得到的更新的第α和第β片点云之间的一组对应点，分别位于第α和第β片点云中；
ψα，β是经过步骤(5)之后得到的更新的第α相对于第β片点云的刚体变换；
是ψα，β的逆变换；
表示第α片点云中的点经过刚体变换ψα，β后的结果，表示第β片点云中的点经过刚体变换后的结果；
得到最优变量后，将相应的刚体变换作用于所述连接关系图中对应的点云上即完成全局误差扩散操作；其中，表示作用于第m片点云的刚体变换，M表示所述连接关系图中的点云的总片数。
步骤(6)是对步骤(4)所用方法应用于多个环的一个推广。
与现有技术相比，本发明的有益效果体现在以下方面：
(1)本发明通过对多片点云构造连接关系图，先对有连接(重叠)关系的点云两两进行刚体配准，再提取连接关系图中的环并按封闭程度高低依次对每个环进行封闭操作，最后实现对整个连接关系图的全局的配准误差扩散，能够保证点云之间刚体变换的封闭性，能够快速实现具有大数据量的多片点云配准并且对点云的初始位置的依赖性低；
(2)对单个环的封闭操作和对整个连接关系图的配准误差扩散操作都直接利用了点云之间两两刚性配准的结果，避免了大量的迭代的全局最近点查询，极大的提升了算法的效率，并且两种操作的优化目标函数都是同时考虑了刚体变换的误差和点云之间的配准误差，具有配准误差小、运算效率高、计算资源占用少的优点。
附图说明
图1为本发明实施例的基本流程示意图；
图2为本发明实施例独立的环提取示意图；
图3为本发明实施例的双片点云配准示意图。
具体实施方式
如图1所示，本实施例层次化的多片点云配准方法的实施步骤如下：
步骤(1)：
建立表示多片点云之间重叠关系的连接关系图，图中的每个节点表示一片点云，每条边连接两片有重叠关系的点云。
步骤(2)：
将所述连接关系图中每两片有连接关系的点云分别进行刚性配准，记录刚性配准后两片点云之间的刚体变换，重叠面积以及点与点的对应关系。
步骤(3)：
以步骤(2)计算得到每两片点云之间的重叠面积为权重，提取出所述连接关系图中的最大生成树，再以此树为基准，根据最大化重叠面积和最短化环路长度的原则，提取出所述连接关系图中的所有独立的环。
如图2所示，本实施例中步骤(3)将点云之间重叠面积设置为连接关系图的每条边的权重，从最大生成树开始，提取独立的环时：按权重从大到小开始逐条加边，每加一条边提取出一个路径长度最短的环。路径长度最短的环即节点数量最少的环；注意每加一条边可能会产生多个环，但这些环中只有一个是独立的，所以我们只选路径长度最短的环。
步骤(4)：
根据步骤(2)得到每两片点云之间的刚体变换和点与点的对应关系，计算步骤(3)中提取的每个环的闭合程度。
利用步骤(2)中点云两两刚性配准结果计算每个环的闭合程度的方法是最小化以下函数表达式：
式(1)中，
和是该优化函数自变量，分别表示作用于该环中第t和第t+1片点云的刚体变换(矩阵形式)；
L表示该环中点云的片数；
Nt是步骤(2)计算得到的第t和第t+1片点云之间的对应点数目；
和是步骤(2)计算得到一组的对应点，分别位于第t和第t+1片点云中；i所有对应点的索引号
ψt是步骤(2)计算得到的第t片点云相对于第t+1片点云的刚体变换，
是ψt的逆变换；
表示第t片点云中的点经过刚体变换ψt后的结果，
表示第t+1片点云中的点经过刚体变换后的结果。
和 和ψt和之间的关系如图3中所示；Eclosure值越小表示该环闭合程度越高。
步骤(5)：
对步骤(3)提取的每个环依次进行封闭操作，其操作顺序由步骤(4)计算得到的环的闭合程度的高低来确定，闭合程度高的环优先进行闭合操作；在此过程中，当一个环被进行了封闭操作后，先将该环融合为一个整体的“点云组”并更新所述连接关系图，然后根据步骤(2)的方法将该“点云组”与其他有连接关系的点云进行刚性配准并计算所述连接关系图中产生的新环的闭合程度，之后才对下一个闭合程度最高环进行封闭操作，直至完成所有独立的环的闭合操作。
步骤(5)中对每个环进行封闭操作的方法直接利用了步骤(4)得到的优化结果，即是将步骤(4)计算该环闭合程度时得到的最优变量(刚体变换)作用于该环中对应的每片点云上；
其中，表示作用于该环中第t片点云的刚体变换；
L表示该环中点云的片数。
步骤(6)：
对所述连接关系图对应的所有的点云进行全局的配准误差扩散操作。
步骤(6)中进行全局配准误差扩散操作的方法是步骤(4)所用方法应用于多个环的一个推广，其目标是最小化以下函数表达式：
式(2)中，
和是该优化函数的自变量，分别表示作用于所述连接关系图中第α和第β片点云的刚体变换；
P表示所述连接关系图中有连接关系的点云的对数，第α和第β片点云即是一对有连接关系的点云；
Nμ是经过步骤(5)之后更新的第α和第β片点云之间的对应点数目；
和是经过步骤(5)之后更新的第α和第β片点云之间的一组对应点，分别位于第α和第β片点云中；
ψα，β是经过步骤(5)之后更新的第α相对于第β片点云的刚体变换；
是ψα，β的逆变换；
表示第α片点云中的点经过刚体变换ψα，β后的结果，表示第β片点云中的点经过刚体变换后的结果；
得到最优变量后，将相应的刚体变换作用于所述连接关系图中对应的点云上即完成全局误差扩散操作；其中，表示作用于第m片点云的刚体变换，M表示所述连接关系图中的点云的总片数。
以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明原理的技术方案均属于本发明的保护范围。对于本领域的技术人员而言，在不脱离本发明的原理的前提下进行的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种层次化的多片点云刚性配准方法，其特征在于，包括：
(1)建立表示多片点云之间重叠关系的连接关系图，图中的每个节点表示一片点云，每条边连接两片有重叠关系的点云；
(2)将所述连接关系图中每两片有连接关系的点云分别进行刚性配准，记录刚性配准后两片点云之间的刚体变换、重叠面积以及点与点的对应关系；
(3)以步骤(2)计算得到每两片点云之间的重叠面积为权重，提取出所述连接关系图中的最大生成树，再以此最大生成树为基准，根据最大化重叠面积和最短化环路长度的原则，提取出所述连接关系图中的所有独立的环；
(4)根据步骤(2)得到每两片点云之间的刚体变换和点与点的对应关系，计算步骤(3)中提取的每个独立的环的闭合程度；
(5)对步骤(3)提取的每个独立的环依次进行封闭操作以优化各片点云的刚体变换，使优化后的各片点云之间的相对刚体变换满足刚体变换的一致性；
对每个独立的环依次进行封闭操作的顺序由每个独立的环的闭合程度高低来确定，闭合程度高的环优先封闭；
一个独立的环被进行了封闭操作后，先将该独立的环融合为一个整体的新点云，并更新所述连接关系图，然后将该新点云进行刚性配准，并计算与新点云相关的新环的闭合程度；
(6)对优化后的所有点云进行全局的配准误差扩散操作以完成刚性配准。
2.根据权利要求1所述的层次化的多片点云刚性配准方法，其特征在于，步骤(3)中，最大化重叠面积和最短化环路长度的原则为：提取独立的环时，按权重从大到小开始逐条加边，每加一条边提取出一个路径长度最短的环。
3.根据权利要求1所述的层次化的多片点云刚性配准方法，其特征在于，步骤(4)中，计算独立的环闭合程度的方式为最小化以下函数：
其中，和是该函数自变量，分别表示作用于该环中第t和第t+1片点云的刚体变换；
L表示该环中点云的片数；
Nt是步骤(2)计算得到的第t和第t+1片点云之间的对应点数目；
和是步骤(2)计算得到的分别位于第t和第t+1片点云中的一组对应点，其中i为所有对应点的索引号；
ψt是步骤(2)计算得到的第t片点云相对于第t+1片点云的刚体变换；
是ψt的逆变换；
表示第t片点云中的点经过刚体变换ψt后的结果，表示第t+1片点云中的点经过刚体变换后的结果。
4.根据权利要求3所述的层次化的多片点云刚性配准方法，其特征在于，步骤(5)中，对每个独立的环进行封闭操作的方法直接利用了步骤(4)得到的优化结果，即将步骤(4)计算该环闭合程度时得到的最优变量作用于该环中对应的每片点云上；
其中，表示作用于该环中第t片点云的刚体变换；
L表示该环中点云的片数。
5.根据权利要求1所述的层次化的多片点云刚性配准方法，其特征在于，步骤(6)中，所述全局配准误差扩散操作的方法是最小化以下函数表达式：
其中，和是该函数的自变量，分别表示作用于所述连接关系图中有连接关系的第α和第β片点云的刚体变换；
P表示所述连接关系图中有连接关系的点云的对数；
Nμ是经过步骤(5)之后得到的更新的第α和第β片点云之间的对应点数目；
和是经过步骤(5)之后得到的更新的第α和第β片点云之间的一组对应点，分别位于第α和第β片点云中；
ψα，β是经过步骤(5)之后得到的更新的第α相对于第β片点云的刚体变换；
是的逆变换；
表示第α片点云中的点经过刚体变换ψα，β后的结果，表示第β片点云中的点经过刚体变换后的结果；
得到最优变量后，将相应的刚体变换作用于所述连接关系图中对应的点云上即完成全局误差扩散操作；其中，表示作用于第m片点云的刚体变换，M表示所述连接关系图中的点云的总片数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510310571.XA CN104966287B (zh) | 2015-06-08 | 2015-06-08 | 层次化的多片点云刚性配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510310571.XA CN104966287B (zh) | 2015-06-08 | 2015-06-08 | 层次化的多片点云刚性配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104966287A CN104966287A (zh) | 2015-10-07 |
| CN104966287B true CN104966287B (zh) | 2017-08-08 |
Family
ID=54220318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510310571.XA Active CN104966287B (zh) | 2015-06-08 | 2015-06-08 | 层次化的多片点云刚性配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104966287B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107123133A (zh) * | 2017-05-02 | 2017-09-01 | 中国石油大学(华东) | 非特征的3d图像快速刚性配准方法 |
| CN107886528B (zh) * | 2017-11-30 | 2021-09-03 | 南京理工大学 | 基于点云的配电线路作业场景三维重建方法 |
| US10826786B2 (en) * | 2018-04-11 | 2020-11-03 | Nvidia Corporation | Fast multi-scale point cloud registration with a hierarchical gaussian mixture |
| CN115641365B (zh) * | 2022-08-25 | 2023-08-04 | 北京微视威信息科技有限公司 | 点云配准方法、系统、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7200269B2 (en) * | 2002-02-01 | 2007-04-03 | Siemens Medical Solutions Usa, Inc. | Non-rigid image registration using distance functions |
| CN101271591A (zh) * | 2008-04-28 | 2008-09-24 | 清华大学 | 一种交互式多视点三维模型重建方法 |
| CN102385748A (zh) * | 2010-08-31 | 2012-03-21 | 微创医疗器械(上海)有限公司 | 一种图像配准方法 |
| CN103927742A (zh) * | 2014-03-21 | 2014-07-16 | 北京师范大学 | 基于深度图像的全局自动配准建模方法 |
| WO2014187046A1 (zh) * | 2013-05-23 | 2014-11-27 | 中国科学院深圳先进技术研究院 | 点云骨架提取方法及装置 |
-
2015
- 2015-06-08 CN CN201510310571.XA patent/CN104966287B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7200269B2 (en) * | 2002-02-01 | 2007-04-03 | Siemens Medical Solutions Usa, Inc. | Non-rigid image registration using distance functions |
| CN101271591A (zh) * | 2008-04-28 | 2008-09-24 | 清华大学 | 一种交互式多视点三维模型重建方法 |
| CN102385748A (zh) * | 2010-08-31 | 2012-03-21 | 微创医疗器械(上海)有限公司 | 一种图像配准方法 |
| WO2014187046A1 (zh) * | 2013-05-23 | 2014-11-27 | 中国科学院深圳先进技术研究院 | 点云骨架提取方法及装置 |
| CN103927742A (zh) * | 2014-03-21 | 2014-07-16 | 北京师范大学 | 基于深度图像的全局自动配准建模方法 |
Non-Patent Citations (2)
| Title |
|---|
| Globally consistent rigid registration;Yuan Liu 等;《Graphical Models》;20140418;第76卷(第5期);第3节 * |
| 多视角三维激光点云全局优化整体配准算法;李彩林 等;《测绘学报》;20150210;第44卷(第2期);183-189 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104966287A (zh) | 2015-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu | Towards linear-time incremental structure from motion | |
| CN104966287B (zh) | 层次化的多片点云刚性配准方法 | |
| Bao et al. | Field-based architectural traits characterisation of maize plant using time-of-flight 3D imaging | |
| US10269148B2 (en) | Real-time image undistortion for incremental 3D reconstruction | |
| CN104200212B (zh) | 一种基于机载LiDAR数据的建筑物外边界线提取方法 | |
| CN110427968A (zh) | 一种基于细节增强的双目立体匹配方法 | |
| CN106780751A (zh) | 基于改进的屏蔽泊松算法的三维点云重建方法 | |
| CN106408581B (zh) | 一种快速的三维点云直线提取方法 | |
| CN104657986B (zh) | 一种基于子空间融合和一致性约束的准稠密匹配扩展方法 | |
| CN104462163B (zh) | 一种三维模型表征方法、检索方法及检索系统 | |
| CN103632371B (zh) | 基于兼容性网格分割的骨骼参数计算方法 | |
| Ni et al. | HyperSfM | |
| CN108010123A (zh) | 一种保留拓扑信息的三维点云获取方法 | |
| CN103729882B (zh) | 一种基于三维曲线匹配的点云相对位姿估计方法 | |
| CN102096818A (zh) | 面向对象的遥感影像树冠轮廓及参数自动提取方法及系统 | |
| CN107146251A (zh) | 一种三维人脸模型的对称性分析方法 | |
| CN103824223A (zh) | 基于MapReduce和神经网络的农作物产量遥感估算方法 | |
| CN113409332B (zh) | 一种基于三维点云的建筑物平面分割方法 | |
| CN111027140A (zh) | 基于多视角点云数据的飞机标准件模型快速重构方法 | |
| CN115546116A (zh) | 全覆盖式岩体不连续面提取与间距计算方法及系统 | |
| CN103236052B (zh) | 一种基于l1最小化模型的全自动细胞定位方法 | |
| CN109272458A (zh) | 一种基于先验信息的点云滤波方法 | |
| CN110322549B (zh) | 一种基于图像的三维重建的方法及系统 | |
| CN106022359A (zh) | 基于有序信息熵的模糊熵空间聚类分析方法 | |
| CN115098717A (zh) | 三维模型检索方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |