CN115761023A - 一种基于点云矩阵奇异值特征的三维点云压缩系统和方法 - Google Patents
一种基于点云矩阵奇异值特征的三维点云压缩系统和方法 Download PDFInfo
- Publication number
- CN115761023A CN115761023A CN202211542126.2A CN202211542126A CN115761023A CN 115761023 A CN115761023 A CN 115761023A CN 202211542126 A CN202211542126 A CN 202211542126A CN 115761023 A CN115761023 A CN 115761023A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- feature
- singular value
- matrix
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007906 compression Methods 0.000 title claims abstract description 43
- 230000006835 compression Effects 0.000 title claims abstract description 43
- 239000011159 matrix material Substances 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 55
- 230000011218 segmentation Effects 0.000 claims abstract description 22
- 238000011084 recovery Methods 0.000 claims description 25
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000001788 irregular Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000013144 data compression Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于点云矩阵奇异值特征的三维点云压缩系统和方法，系统包括：三维点云自适应分割模块，三维点云特征编码模块；三维点云自适应分割模块：用于构建立方空间以及相应的点云矩阵并对所述立方空间进行分割；三维点云特征编码模块：用于基于所述点云矩阵提取子空间点云的特征向量，并对所述特征向量进行存储；本发明利用点云平面特征替代反应单一平面的大量点云，又结合了八叉树结构表达和存储点云特征集合，完成了两个层面的数据量压缩，点云压缩率得到显著提高。
Description
技术领域
本发明涉及三维点云数据压缩技术领域，特别是涉及一种基于点云矩阵奇异值特征的三维点云压缩系统和方法。
背景技术
作为信息世界映射物理世界的一项基础环节，三维空间信息的获取及重建在应用需求、硬件性能和软件技术的互相促进下不断发展。在这一趋势下，三维空间数据采集和可视化在越来越多的领域得到了重视和应用，例如空间探测、考古探测、基础设施的数字化管理、智能体的定位与导航、自动驾驶中的环境感知以及各类虚拟/增强/混合现实的应用。三维点云是一种常用的三维空间信息表达方式。直接获取的空间原始数据或从其他类型的数据中重建而来的空间数据均以点云作为最初形态。这种表达方式准确地反映了空间信息，而且易于理解，然而代价是数据量的庞大。这一缺点增加了数据传输和存储的负担、降低了数据计算和分析的效率，从而制约了实际应用的实时性和时效性。针对这一缺陷，三维点云的压缩技术得到了广泛的开发。
三维点云压缩技术主要可以分为采样帧内压缩、采样帧间压缩、整体点云压缩。其中，点云帧内压缩和整体点云压缩虽然在所需处理的数据量上有差别，但在本质上是相同的工作。不同于帧间压缩所关注的消除帧间冗余，帧内或整体压缩主要通过提取特征、设计编码方式等降低点云属性或点云本身的数据量。在现有的点云压缩技术中，八叉树是一种被广泛使用的数据结构，便于高效存储和检索点云数据。在此基础上，诸如图变换、特征提取与编码、对象识别等方法被用于进一步压缩点云数据量。其中，图变换主要用于点云的属性压缩，特征提取与编码和对象识别的方法主要用于点云自身的压缩。对象识别的方法所需的先验信息较多，泛用性也容易受到限制。现有技术中使用point++算法提取点云特征，从而完成点云的编码压缩和相应的解码方法。这种方法用到的点云提取特征用到了深度神经网络的算法，对于设备算力的要求较高，很难在感知层的终端设备上部署。
发明内容
本发明的目的是提供一种基于三维点云奇异值特征提取的点云压缩系统与方法，实现在低算力和低存储空间的条件下完成三维点云压缩的目标。
为实现上述目的，本发明提供了如下方案：
一种基于点云矩阵奇异值特征的三维点云压缩系统，包括：三维点云自适应分割模块，三维点云特征编码模块；
所述三维点云自适应分割模块：用于构建立方空间以及相应的点云矩阵并对所述立方空间进行分割；
所述三维点云特征编码模块：用于基于所述点云矩阵提取子空间点云的特征向量，并对所述特征向量进行存储。
优选地，所述三维点云自适应分割模块包括构建单元，和分割单元；其中，所述构建单元用于根据整体点云数据构建立方空间以及与所述立方空间相应的点云矩阵，所述分割单元用于对所述立方空间进行分割。
优选地，对所述立方空间进行分割，包括：
通过奇异值分解的方法提取所述点云矩阵的矩阵奇异值，以奇异值评价指标判断所述立方空间是否需要分割，对于需要分割的空间，按空间均分的原则将所述立方空间分为若干个子空间，进行迭代，直到所有子空间都已经分割或无需分割。
优选地，判断所述立方空间是否需要分割的方法包括：
根据所述奇异值聚集度判断所述点云的共面性，确定局部点云是否需要进一步细分，实现尺度自适应的点云分割，将不规则的复杂点云结构分解为若干尺度各异的点云平面的集合。
优选地，根据所述奇异值聚集度判断所述点云的共面性，包括：
S1.1、判断所述奇异值聚集度是否大于指定阈值；
S1.2、若不满足，则将点云立方空间进行分解，并继续对分解后的子空间执行所述S1.1；
S1.3、若满足，则表明本空间无需进一步分解，继续对剩余未判断和分割的空间执行所述S1.1。
优选地，所述三维点云特征编码模块包括特征提取单元和特征编码单元，所述特征提取单元用于对已完成分割的空间进行特征提取，获得子空间点云的特征向量，所述特征编码单元用于对所述子空间点云的特征向量进行编码。
优选地，对所述子空间点云的特征向量进行编码，包括：
将所述特征向量以八叉树子节点的数据结构进行编码，并以扩展八叉树的结构存储点云特征向量集；其中所述点云特征向量集即为压缩后的点云。
优选地，所述系统还包括所述特征恢复点云模块，所述特征恢复点云模块用于根据所述特征向量确定点云的恢复平面，生成重建后的点云集合。
优选地，所述特征恢复点云模块包括恢复单元，所述恢复单元用于根据特征向量所处的节点在八叉树中的深度和位置确定恢复点云的空间范围，根据所述点云特征向量确定点云的恢复平面，通过所述空间范围与所述恢复平面生成重建后的点云集合。
为了实现上述目的，本发明还提供了一种基于点云矩阵奇异值特征的三维点云压缩方法，包括：
构建立方空间以及相应的点云矩阵，使用奇异值分解的方法提取矩阵奇异值，以奇异值聚集度为评价指标，判断所述立方空间是否需要分割；若需要分割，则按照空间均分的原则进行分割，重复以上步骤进行迭代，直到所有子空间都已经分割或无需分割；
对已经完成分割的空间提取子空间点云的特征向量，将所述特征向量以八叉树子节点的数据结构进行编码，并以扩展八叉树的结构存储点云特征向量集；
根据所述点云特征向量所处的节点在所述八叉树中的深度和位置，确定恢复点云的空间范围，根据特征向量确定点云的恢复平面，生成重建后的点云集合，对所述八叉树中所有叶子节点的特征向量进行处理，得到恢复后的完整点云。
本发明的有益效果为：
(1)本发明利用点云平面特征替代反应单一平面的大量点云，又结合了八叉树结构表达和存储点云特征集合，完成了两个层面的数据量压缩，点云压缩率得到显著提高；
(2)本发明通过奇异值分解算法，可在算力需求较小的条件下实施点云数据的自适应分割以及特征向量的提取，兼顾了高压缩率和低算力负担两大需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于点云矩阵奇异值特征的三维点云压缩系统示意图；
图2为本发明实施例的三维点云自适应分割方法示意图；
图3为本发明实施例的三维点云特征编码方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本实施例提供一种基于点云矩阵奇异值特征的三维点云压缩系统，包括：
三维点云自适应分割模块、三维点云特征编码模块、特征恢复点云模块，如附图1所示：
三维点云自适应分割模块根据整体点云构建立方空间以及相应的点云矩阵，使用奇异值分解的方法提取矩阵奇异值，以奇异值集中度评价指标判断立方空间是否需要分割。对于需要分割的空间，按空间均分的原则分为八个子空间。对以上步骤进行迭代，直到所有子空间都已经分割或无需分割。
三维点云特征编码模块根据奇异矩阵对已完成分割的空间提取子空间点云的特征向量，将特征向量以八叉树子节点的数据结构进行编码，并以扩展八叉树的结构存储点云特征向量集。该向量集即为压缩后的点云。
特征恢复点云模块根据特征向量所处的节点在八叉树中的深度和位置确定恢复点云的空间范围，根据特征向量确定点云的恢复平面，从而生成重建后的点云集合。完成八叉树所有叶子节点的特征向量的处理后，得到恢复后的完整点云。
本实施例还提供了一种基于点云矩阵奇异值特征的三维点云压缩方法，参阅图2-3，结合大规模点云压缩的需求，对本发明方法的具体实施和操作进行案例实施。
原始的点云是一系列空间坐标的集合，本实施例中的坐标分别为经度、纬度和高度。点云自适应分割模块首先求取点云集合在经度、纬度和高度三轴的投影上、下限。以三轴中上下限之差的最大值作为点云初始立方空间的边长，并计算其几何中心的坐标。将点云坐标换算为以该几何中心作为原点相对坐标，构成点云矩阵。
如图2所示，使用奇异值分解算法得到点云矩阵的特征矩阵∑，其主对角线上的奇异值记为σ1，σ2，σ3，并判断聚集度函数f(σ1,σ2,σ3)是否满足大于指定阈值的条件。如果不满足条件，则将点云立方空间分别沿三个轴向方向各均分为两份，形成八个子空间，并继续对分解后的子空间执行上述步骤；如果满足聚集度条件，则表明本空间无需进一步分解，继续对剩余未判断和分割的空间执行上述步骤。
如图3所示在执行空间分解的过程中，当奇异值聚集度条件得到满足时，三维点云特征编码模块从奇异值分解后得到的右奇异矩阵中提取特征向量，将其以三个八位二进制数表达，作为叶子节点。由于空间分解的原则和步骤与八叉树的构建过程可以一一对应。所以上述特征向量可以构成一个扩展八叉树结构，亦即点云压缩后的结果。
为了恢复被压缩的点云，点云特征恢复模块从以压缩后的扩展八叉树中，还原叶子节点对应的子空间中心点坐标以及三个轴向上的空间范围。再根据叶子节点存储的特征向量还原点云所在的平面的参数，在该平面内依据特定的密度生成恢复点集。当对所有的叶子节点都执行完恢复步骤，即可得到解压缩以后的点云。
本发明利用奇异值分解获取点云在空间中的分布特征，根据奇异值聚集度判断点云的共面性，用以确定局部点云是否需要进一步细分，从而实现尺度自适应的点云分割，将不规则的复杂点云结构分解为一系列尺度各异的点云平面的集合。从奇异矩阵中提取分割得到的点云平面的特征向量，并以该特征向量作为平面点云的替代，实现点云的压缩和恢复。由于替代了大量的点云数据，该方法的压缩率得到了显著的提升。本发明利用八叉树的数据结构存储点云特征向量集，并以八叉树节点的数据结构表示特征向量，保证了数据结构的一致性，并且利用八叉树结构的优势进一步提高点云压缩的效率。
本发明具有以下有益效果：
点云数据的应用场景的采集场范围随着虚拟现实、数字孪生等需求的发展而不断扩大。需要传输和存储的点云数据量也随之增加。本发明利用点云平面特征替代反应单一平面的大量点云，又结合了八叉树结构表达和存储点云特征集合，完成了两个层面的数据量压缩，点云压缩率得到显著提高。
点云的采集与传输环节中使用到的设备往往不具备较强的算力，而在点云数据压缩算法如果对设备算力的需求过高，就会对整个系统产生巨大的算力负担，难以应用在大规模采集和实时处理的场景中。本发明通过奇异值分解算法，可在算力需求较小的条件下实施点云数据的自适应分割以及特征向量的提取，兼顾了高压缩率和低算力负担两大需求。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (10)
1.一种基于点云矩阵奇异值特征的三维点云压缩系统，其特征在于，包括：三维点云自适应分割模块，三维点云特征编码模块；
所述三维点云自适应分割模块：用于构建立方空间以及相应的点云矩阵并对所述立方空间进行分割；
所述三维点云特征编码模块：用于基于所述点云矩阵提取子空间点云的特征向量，并对所述特征向量进行存储。
2.根据权利要求1所述的基于点云矩阵奇异值特征的三维点云压缩系统，其特征在于，所述三维点云自适应分割模块包括构建单元，和分割单元；其中，所述构建单元用于根据整体点云数据构建立方空间以及与所述立方空间相应的点云矩阵，所述分割单元用于对所述立方空间进行分割。
3.根据权利要求2所述的基于点云矩阵奇异值特征的三维点云压缩系统，其特征在于，对所述立方空间进行分割，包括：
通过奇异值分解的方法提取所述点云矩阵的矩阵奇异值，以奇异值评价指标判断所述立方空间是否需要分割，对于需要分割的空间，按空间均分的原则将所述立方空间分为若干个子空间，进行迭代，直到所有子空间都已经分割或无需分割。
4.根据权利要求3所述的基于点云矩阵奇异值特征的三维点云压缩系统，其特征在于，判断所述立方空间是否需要分割的方法包括：
根据所述奇异值聚集度判断所述点云的共面性，确定局部点云是否需要进一步细分，实现尺度自适应的点云分割，将不规则的复杂点云结构分解为若干尺度各异的点云平面的集合。
5.根据权利要求4所述的基于点云矩阵奇异值特征的三维点云压缩系统，其特征在于，根据所述奇异值聚集度判断所述点云的共面性，包括：
S1.1、判断所述奇异值聚集度是否大于指定阈值；
S1.2、若不满足，则将点云立方空间进行分解，并继续对分解后的子空间执行所述S1.1；
S1.3、若满足，则表明本空间无需进一步分解，继续对剩余未判断和分割的空间执行所述S1.1。
6.根据权利要求1所述的基于点云矩阵奇异值特征的三维点云压缩系统，其特征在于，所述三维点云特征编码模块包括特征提取单元和特征编码单元，所述特征提取单元用于对已完成分割的空间进行特征提取，获得子空间点云的特征向量，所述特征编码单元用于对所述子空间点云的特征向量进行编码。
7.根据权利要求6所述的基于点云矩阵奇异值特征的三维点云压缩系统，其特征在于，对所述子空间点云的特征向量进行编码，包括：
将所述特征向量以八叉树子节点的数据结构进行编码，并以扩展八叉树的结构存储点云特征向量集；其中所述点云特征向量集即为压缩后的点云。
8.根据权利要求1所述的基于点云矩阵奇异值特征的三维点云压缩系统，其特征在于，所述系统还包括所述特征恢复点云模块，所述特征恢复点云模块用于根据所述特征向量确定点云的恢复平面，生成重建后的点云集合。
9.根据权利要求8所述的基于点云矩阵奇异值特征的三维点云压缩系统，其特征在于，所述特征恢复点云模块包括恢复单元，所述恢复单元用于根据特征向量所处的节点在八叉树中的深度和位置确定恢复点云的空间范围，根据所述点云特征向量确定点云的恢复平面，通过所述空间范围与所述恢复平面生成重建后的点云集合。
10.一种基于点云矩阵奇异值特征的三维点云压缩方法，其特征在于，包括：
构建立方空间以及相应的点云矩阵，使用奇异值分解的方法提取矩阵奇异值，以奇异值聚集度为评价指标，判断所述立方空间是否需要分割；若需要分割，则按照空间均分的原则进行分割，重复以上步骤进行迭代，直到所有子空间都已经分割或无需分割；
对已经完成分割的空间提取子空间点云的特征向量，将所述特征向量以八叉树子节点的数据结构进行编码，并以扩展八叉树的结构存储点云特征向量集；
根据所述点云特征向量所处的节点在所述八叉树中的深度和位置，确定恢复点云的空间范围，根据特征向量确定点云的恢复平面，生成重建后的点云集合，对所述八叉树中所有叶子节点的特征向量进行处理，得到恢复后的完整点云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211542126.2A CN115761023A (zh) | 2022-12-02 | 2022-12-02 | 一种基于点云矩阵奇异值特征的三维点云压缩系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211542126.2A CN115761023A (zh) | 2022-12-02 | 2022-12-02 | 一种基于点云矩阵奇异值特征的三维点云压缩系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115761023A true CN115761023A (zh) | 2023-03-07 |
Family
ID=85343049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211542126.2A Pending CN115761023A (zh) | 2022-12-02 | 2022-12-02 | 一种基于点云矩阵奇异值特征的三维点云压缩系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115761023A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780509A (zh) * | 2016-12-01 | 2017-05-31 | 山东交通学院 | 融合多维特征的建筑物点云层次聚类分割方法 |
| CN113518226A (zh) * | 2021-06-29 | 2021-10-19 | 福州大学 | 一种基于地面分割的g-pcc点云编码改进方法 |
| CN113724270A (zh) * | 2021-08-25 | 2021-11-30 | 华南农业大学 | 一种牲畜表面点云智能分割方法及其系统 |
| CN114092580A (zh) * | 2021-11-03 | 2022-02-25 | 华东交通大学 | 一种基于深度学习的三维点云数据压缩方法与系统 |
-
2022
- 2022-12-02 CN CN202211542126.2A patent/CN115761023A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780509A (zh) * | 2016-12-01 | 2017-05-31 | 山东交通学院 | 融合多维特征的建筑物点云层次聚类分割方法 |
| CN113518226A (zh) * | 2021-06-29 | 2021-10-19 | 福州大学 | 一种基于地面分割的g-pcc点云编码改进方法 |
| CN113724270A (zh) * | 2021-08-25 | 2021-11-30 | 华南农业大学 | 一种牲畜表面点云智能分割方法及其系统 |
| CN114092580A (zh) * | 2021-11-03 | 2022-02-25 | 华东交通大学 | 一种基于深度学习的三维点云数据压缩方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | 3d point cloud geometry compression on deep learning | |
| CN102804230B (zh) | 使用重复图案压缩3d网格 | |
| Zhu et al. | Lossless point cloud geometry compression via binary tree partition and intra prediction | |
| CN110691243A (zh) | 一种基于深度卷积网络的点云几何压缩方法 | |
| CN102930597B (zh) | 一种外存三维模型的处理方法 | |
| CN113158288A (zh) | 一种基于构件复用与重装配的信息模型几何轻量化方法 | |
| US20130182960A1 (en) | Method and apparatus for encoding geometry patterns, and method for apparatus for decoding geometry patterns | |
| CN105139449A (zh) | 一种基于三维网格细分和编码的三维模型压缩方法 | |
| CN103946893A (zh) | 基于反射对称的三维模型压缩方法以及装置 | |
| CN114782564B (zh) | 一种点云的压缩方法、装置、电子设备及存储介质 | |
| CN115205488A (zh) | 一种基于隐式神经场表示的3d人体网格补全方法 | |
| CN115761023A (zh) | 一种基于点云矩阵奇异值特征的三维点云压缩系统和方法 | |
| CN116597071A (zh) | 一种基于可学习的k临近点采样的缺陷点云数据重建方法 | |
| CN116546219A (zh) | 一种基于学习的点云几何颜色联合压缩方法 | |
| CN112488117B (zh) | 一种基于方向诱导卷积的点云分析方法 | |
| CN113763539B (zh) | 一种基于图像和三维输入的隐式函数三维重建方法 | |
| CN115065822A (zh) | 点云几何信息压缩系统、方法及计算机系统 | |
| CN110349228B (zh) | 一种数据驱动最小二乘预测的三角网格压缩方法 | |
| Liu et al. | A scan-line-based data compression approach for point clouds: Lossless and effective | |
| CN105741332B (zh) | 一种真实感三维网格压缩方法 | |
| CN114283495B (zh) | 一种基于二值化神经网络的人体姿态估计方法 | |
| CN114025146B (zh) | 基于场景流网络与时间熵模型的动态点云几何压缩方法 | |
| US20240087176A1 (en) | Point cloud decoding method and apparatus, point cloud encoding method and apparatus, computer device, computer-readable storage medium | |
| CN117132736B (zh) | 一种基于元宇宙的体育场馆建模方法和系统 | |
| KR101086772B1 (ko) | 양자화 기법에 기반한 3차원 메쉬 압축 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |