CN112184840B - 基于多尺度结构化字典学习的3d点云压缩系统 - Google Patents
基于多尺度结构化字典学习的3d点云压缩系统 Download PDFInfo
- Publication number
- CN112184840B CN112184840B CN202011002405.0A CN202011002405A CN112184840B CN 112184840 B CN112184840 B CN 112184840B CN 202011002405 A CN202011002405 A CN 202011002405A CN 112184840 B CN112184840 B CN 112184840B
- Authority
- CN
- China
- Prior art keywords
- module
- point cloud
- coding
- voxel
- attribute signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007906 compression Methods 0.000 title claims abstract description 69
- 230000006835 compression Effects 0.000 title claims abstract description 69
- 239000011159 matrix material Substances 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000013139 quantization Methods 0.000 claims description 32
- 238000012360 testing method Methods 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 238000000638 solvent extraction Methods 0.000 claims description 11
- 230000008707 rearrangement Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000003247 decreasing effect Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000007667 floating Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012812 general test Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013332 literature search Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/007—Transform coding, e.g. discrete cosine transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/005—Statistical coding, e.g. Huffman, run length coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Discrete Mathematics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种基于多尺度结构化字典学习的3D点云压缩系统，其中：点云数据划分模块输出点云划分后的体素集合、不同尺度的体素块集合；几何信息编码模块输出编码的几何信息比特流；几何信息解码模块输出解码的几何信息；属性信号编码模块输出稀疏编码的系数矩阵与学习的多尺度结构化字典；属性信号编码模块输出学习到的多尺度结构化字典，属性信号压缩模块输出压缩后的属性信号比特流，属性信号解码模块输出解码的属性信号，3D点云重建模块完成重建。本发明适用于点云信号无损几何与有损属性压缩，利用点云信号天然的层次划分结构，沿着信号尺度由粗到精的方向，渐层地提升高频细节信息的重建质量，能够获得显著的性能增益。
Description
技术领域
本发明涉及一种3D点云数据压缩技术领域的方案，具体为一种基于多尺度结构化字典学习的3D点云压缩系统。
背景技术
近些年，随着3D数据获取设备与显示系统的飞速发展，同时借助强大的GPU运算能力，现实世界的场景和目标已经能够被实时地数字化为高细节精度的三维点数据。3D数据与技术已经广泛地应用于众多新兴领域中，包括虚拟/增强现实、混合现实、远端临场、全景通讯、自动驾驶以及机器人导航等。3D建模技术多种多样，例如，RGB-D帧与包含深度信息的多视角视频技术可以建模3D场景与目标，但却不支持实时性渲染；多边形网格可以利用顶点与点之间的连接性重建物体的3D表面，但是却无法建模不满足流形拓扑结构的三维数据。在众多技术中，3D点云脱颖而出，它用一系列的点表示3D物体，每个点由其相应的几何坐标位置信息与颜色、纹理、反射性等属性信号组成，可以灵活的表示原始数据的结构，不受流形拓扑的约束，并有效支持实时的信息处理。然而，每个点云数据往往包含了十万甚至百万数量级的3D点，如何有效的压缩、存储与传输这样海量的数据，特别是针对自动驾驶等对实时性严格要求的新兴产业，是一个亟待解决的重要问题。
经过对现有技术的文献检索发现，C.Zhang,D.Florencio和C.Loop在2014年的IEEE International Conference on Image Processing(ICIP2014)会议上发表的“PointCloud Attribute Compression with Graph Transform”一文中开创性地提出利用图傅里叶变换来去除点云体素块信号的相关性,受限构建点云体素块中的最近邻图，计算得到图拉普拉斯矩阵，以此作为变换基矩阵对点云信号进行编码。但是，图傅里叶变换需要对大尺寸的拉普拉斯矩阵进行特征值分解，具有很高的计算复杂度，不适用于实时性应用需求。为了降低复杂度，R.L.de Queiroz和P.A.Chou在2016年的《IEEE Transactions on ImageProcessing》(TIP2016)期刊上发表的“Compression of 3D Point Clouds Using aRegion-Adaptive Hierarchical Transform”一文中提出改进的哈尔小波变换，对空间分布不规则的点云信号进行自适应的加权变换，避免了大尺度矩阵的特征分解，显著提升了编码效率。但是，图傅里叶变换与自适应小波变换均为固定的解析变换，它们的变换基矩阵由直接由几何信息中计算得出，缺乏对属性信号的自适应性，因此很难有效地表征自然场景中3D点云数据的复杂的结构特点。
同期，MPEG 3DG PCC标准化组织自2017年起对3D点云压缩技术征集提案，选定一个混合点云编码技术为测试基准，该技术采用八叉树结构压缩几何信息，并利用图像的JPEG编码器对3D-2D投影的属性信号进行压缩。最终经过层层筛选与严格比较，MPEG制定出两个标准的测试模型，一项是是Video-based Point Cloud Compression(V-PCC)标准技术，通过将3D点云投影成2D平面，获得几何视频序列与属性视频序列，利用现有的HEVC视频编码标准对其进行压缩；另一项是Geometry-based Point Cloud Compression(G-PCC)标准技术，利用八叉树结构与临界采样的空间变换编码，直接在三维空间中对点云数据进行压缩。但是V-PCC的3D-2D投影会引入不可避免的投影失真，而G-PCC的属性空间变换仅依赖于几何信息，没有考虑属性信号本身的统计特点，降低了属性信号的压缩质量。
发明内容
本发明的目的在于克服上述现有技术的不足，提供了一种基于多尺度结构化字典学习的3D点云压缩系统，利用点云信号天然的层次划分结构，沿着信号尺度由粗到精的方向，渐层地提升高频细节信息的重建质量，压缩效果与国际标准MPEG 3DG G-PCC与V-PCC相比，能够获得显著的性能增益。
本发明是通过以下技术方案实现的：
本发明提供一种基于多尺度结构化字典学习的3D点云压缩系统，包括：点云数据划分模块、几何信息编码模块、几何信息解码模块、属性信号编码模块、属性信号压缩模块、属性信号解码模块和3D点云重建模块，其中：
所述点云数据划分模块对原始点云数据进行划分，得到空间均匀分布的体素集合，进一步将体素集合划分为不同尺度的点云体素块，将获得的体素集合传输给几何信息编码模块，将点云体素块传输给属性信号编码模块，所述点云体素块形成训练集、测试集；
所述几何信息编码模块通过八叉树结构对点云体素的几何位置信息进行无损编码，并将编码得到的比特流传输至几何信息解码模块；
所述几何信息解码模块对编码得到的所述比特流进行解码，得到解码后的几何信息，并传输给属性信号编码模块与3D点云重建模块；
所述属性信号编码模块从训练集中的点云体素块中学习得到多尺度结构化字典，基于所述多尺度结构化字典对测试集中的点云体素块进行分层结构稀疏编码，并将所述多尺度结构化字典传输给属性信号压缩模块与属性信号解码模块，将所述分层结构稀疏编码的稀疏编码系数传输给属性信号压缩模块；
所述属性信号压缩模块对所述稀疏编码系数进行重排列、量化、预测与熵编码，并将编码的比特流传输给属性信号解码模块；
所述属性信号解码模块通过熵解码、逆预测与逆量化获得解码的稀疏系数矩阵，依据所述多尺度结构化字典重建点云属性信号，并将重建的属性信号传输给3D点云重建模块；
所述3D点云重建模块对所述几何信息解码模块得到的几何信息与所述属性信号解码模块得到的属性信号进行整合，得到重建3D点云。
优选的，所述点云数据划分模块包括：体素划分子模块和块划分子模块，其中：体素划分子模块将原始的无序排列的点云数据所在的边界立方体递归地划分为空间坐标系对齐的、均匀分布的体素单元，并将划分得到的体素集合传输给几何信息编码模块和块划分子模块；块划分子模块将体素集合均匀划分为不同尺度的体素块，并将体素块集合传输给属性信号编码模块。
进一步的，所述体素划分子模块根据八叉树结构对点云的边界立方体进行递归划分为体素单元，八叉树的每个包含点云点数据的节点表示为一个体素单元，将每个体素单元中所包含点的浮点精度坐标量化为体素中心的整数坐标，用所包含点的属性信息的平均值作为体素单元的属性信号。
进一步的，所述块划分子模块根据预先设定的尺度数目K，将N×N×N体素单元集合均匀划分成尺度为m×m×m(m<N)的体素块，并进一步将尺度逐层递减，将其划分成尺度为
k＝1,…,K的体素块，所得的所有体素块构成多尺度体素块集合。
优选的，所述几何信息编码模块对于体素划分的八叉树结构中的每一个分支节点，分配一个八比特位的字节单元，用于表示该分支节点的子节点所对应的空间单元中是否有点云的点数据存在，通过对八叉树结构的以深度-广度优先顺序进行遍历，所得到的所有字节单元组成几何信息的编码码字，并利用熵编码进一步压缩信息，得到几何信息编码比特流，传输至几何信息解码模块。
优选的，所述几何信息解码模块对几何编码比特流进行熵解码，获得编码的八叉树结构和每个分支节点的字节单元，进而得到每个体素单元的几何坐标信息，并传输给属性信号编码模块和3D点云重建模块。
优选的，所述属性信号编码模块包括：多尺度字典学习子模块和分层结构稀疏编码子模块，其中：多尺度字典学习子模块针对训练集中的不同尺度的体素块中，引入权重矩阵刻画属性信号的维度不规则性，利用交替优化算法自适应的学习得到多尺度字典；分层结构稀疏编码子模块根据学习到的字典，利用点云信号的层次化稀疏性，对测试集的多尺度体素块的属性信号进行变换编码，并将稀疏系数传输给属性信号压缩模块。
进一步的，所述多尺度字典学习子模块引入非均匀权重矩阵刻画体素块的属性信号的维度不规则性，建立优化目标函数为非均匀加权的混合l1/l2范式正则的最小化问题，利用Gauss-Seidel迭代法高效地交替更新字典原子与稀疏系数，在保证近似误差的同时提高学习的收敛速度，所学习到的字典原子自然排列为树形结构，随着原子尺度由粗到精逐层递减的顺序，原子所表征的信号频率逐级递增。
进一步的，所述分层结构稀疏编码子模块利用点云信号天然的层次化结构先验，设计层次稀疏约束的正则项，利用交替方向乘子算法，在多尺度字典的基础上对测试集中的体素块的属性信号进行有效的稀疏编码，在保证编码效率的同时，渐进提升信号中高频细节信息的表示精度。
优选的，所述属性信号压缩模块包括：稀疏系数重排列子模块、均匀量化子模块、差分编码预测子模块和自适应算数熵编码子模块，其中：稀疏系数重排列子模块通过对稀疏编码的系数矩阵的重排列，提升后续编码的压缩率，并将重排序后的稀疏系数传输给均匀量化子模块；均匀量化子模块对稀疏系数值进行量化，差分编码预测子模块对稀疏系数的索引进行差分编码，随后，自适应算数熵编码子模块对量化之后的稀疏系数与预测之后的索引进行熵编码，该模块将所得的压缩比特流传输给属性信号解码模块。
进一步的，所述稀疏系数重排列子模块按照非零元素数量递减的顺序，对稀疏系数矩阵的行向量进行重新排列，同时相应的重排列多尺度字典的列原子向量，在保证重构信号不会发生改变的前提下，降低后续索引差分编码的熵值，有效提升其压缩率。
进一步的，所述均匀量化子模块利用死区均匀量化器，设置置零区间为其余均匀量化区间尺寸的二倍，剔除携带信息量较少的极小稀疏系数，显著提升压缩效率。
进一步的，所述差分编码预测子模块按列对稀疏系数矩阵的索引进行差分编码，标记每一列的结束为零，进一步降低信息冗余。
进一步的，所述自适应算数熵编码子模块对量化的非零系数值与索引的差分预测残差进行有效的熵编码，得到点云属性信号压缩的完整比特流。
优选的，所述属性信号解码模块包括：自适应算数熵解码子模块、差分解码预测子模块、逆量化子模块和属性信号重建子模块，其中：自适应算数熵解码子模块对压缩的比特流进行熵解码，得到解压缩的稀疏系数与索引的差分预测残差，传输给差分解码预测子模块；差分解码预测子模块对索引残差进行解码，得到稀疏系数的索引，传输给逆量化子模块；逆量化子模块对稀疏系数值进行逆量化操作，恢复稀疏系数值，与稀疏系数的索引进行整合，得到完整的稀疏系数矩阵，并传输给属性信号重建子模块；属性信号重建子模块将获得的重构稀疏系数矩阵与多尺度字典进行矩阵相乘，从而得到重构的点云属性信号，并将其传输给3D点云重建模块。
优选的，所述3D点云重建模块对解码得到的几何信息与属性信号进行合成，重构出完整的点数据，该模块得到最终重建的3D点云数据。
与现有技术相比，本发明具有如下至少一种有益效果：
本发明上述系统有效提升了3D点云属性信号的压缩效率，所提出的多尺度结构化字典模型可以自适应的刻画点云结构的空间非规则性，渐进的提升信号高频信息的近似精度。
本发明上述系统所设计的交替优化算法可以在保证近似最优解的同时，降低传统计算复杂度，提升字典学习的收敛速度。
本发明上述系统的压缩框架可以对分层结构稀疏编码系数进行定制化的量化、预测与熵编码，进一步提高压缩性能。
本发明上述系统与基于图傅里叶或区域自适应小波的解析变换相比，具有对训练数据的自适应性，因此可以有效提升重建质量；与MPEG PCC国际标准相比，不需要3D-2D的平面投影，不会引入投影失真，不单独依赖于几何信息来构建属性变换基，学习得到的多尺度字典原子能有效利用属性信号的统计特性与先验结构化信息，因此，该发明获得了显著的性能增益。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一较优实施例结构框图；
图2为本发明一实施例的点云数据划分模块的示意图；
图3为本发明一实施例的属性信号编码模块的示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示，为本发明基于多尺度结构化字典学习的3D点云压缩系统的一实施例结构框图。该实施例中的系统包括：点云数据划分模块、几何信息编码模块、几何信息解码模块、属性信号编码模块、属性信号压缩模块、属性信号解码模块、3D点云重建模块，其中：点云数据划分模块与几何信息编码模块相连传输点云划分后的体素集合，点云数据划分模块与属性信号编码模块相连传输划分的不同尺度的体素块集合，几何信息编码模块与几何信息解码模块相连传输编码的几何信息比特流，几何信息解码模块与属性信号编码模块相连传输解码的几何信息，几何信息解码模块与3D点云重建模块相连传输解码的几何信息，属性信号编码模块与属性信号压缩模块相连传输稀疏编码的系数矩阵与学习的多尺度结构化字典，属性信号编码模块与属性信号解码模块相连传输学习到的多尺度结构化字典，属性信号压缩模块与属性信号解码模块相连传输压缩后的属性信号比特流，属性信号解码模块与3D点云重建模块相连传输解码的属性信号，3D点云重建模块输出最终重建的点云数据。
本发明上述实施例有效提升了3D点云属性信号的压缩效率，所提出的多尺度结构化字典可以自适应的刻画点云结构的空间非规则性，渐进的提升信号高频信息的近似精度。
如图2所示，为一优选实施例中的点云数据划分模块示意图，其中点云数据划分模块包括：体素划分子模块和块划分子模块，其中：体素划分子模块与几何信息编码模块相连传输点云划分后的体素集合，体素划分子模块与块划分子模块相连传输点云划分后的体素集合，块划分子模块与属性信号编码模块相连传输划分的不同尺度的体素块集合。
在一具体实施例中，体素划分子模块根据八叉树结构对点云的边界立方体进行递归划分为体素单元，八叉树的每个包含点云点数据的节点表示为一个体素单元，将每个体素单元中所包含点的浮点精度坐标量化为体素中心的整数坐标，用所包含点的属性信息的平均值作为体素单元的属性信号，通常，八叉树的层数，也即是划分的次数设置为9、10，所对应的点云几何信息的体素分辨率N×N×N是512×512×512和1024×1024×1024。当然，在其他实施例中，也可以选择其他的划分的次数和体素分辨率，本发明并不限于上述的参数。
块划分子模块根据预先设定的尺度数目K，将N×N×N体素单元集合均匀划分成尺度为m×m×m(m<N)的体素块，并进一步将尺度逐层递减，将其划分成尺度为
k＝1,…,K的体素块，所得的所有体素块构成多尺度体素块集合。
如图2所示，作为一优选实施例，几何信息编码模块和几何信息解码模块中：几何信息编码模块和几何信息解码模块相连传输编码的几何信息比特流，几何信息解码模块与属性信号编码模块相连传输解码的几何信息，几何信息解码模块与3D点云重建模块相连传输解码的几何信息。
具体的，几何信息编码模块对于体素划分的八叉树结构中的每一个分支节点，分配一个八比特位的字节单元，用于表示该分支节点的子节点所对应的空间单元中是否有点云的点数据存在，其中1代表存在，0代表不存在。通过对八叉树结构的以深度-广度优先顺序进行遍历，所得到的所有字节单元组成几何信息的编码码字，并利用熵编码进一步压缩信息，得到几何信息编码比特流，传输至几何信息解码模块。
几何信息解码模块对几何编码比特流进行熵解码，获得编码的八叉树结构和每个分支节点的字节单元，进而得到每个体素单元的几何坐标信息，并传输给属性信号编码模块和3D点云重建模块。
如图3所示，在一优选实施例中，属性信号编码模块包括：多尺度字典学习子模块和分层结构稀疏编码子模块，其中多尺度字典学习子模块与分层结构稀疏编码子模块相连传输学习到的多尺度结构化字典，分层结构稀疏编码子模块与属性信号压缩模块相连传输稀疏编码的系数矩阵。
具体的，在一较优实施例中，多尺度字典学习子模块对于不同尺度体素块构成的训练集X＝{x1,…,xn}，引入非均匀权重矩阵M刻画体素块的属性信号的维度不规则性，设置字典的尺度个数等于信号的尺度数目K，初始多尺度字典为D＝{D1,…,DK}包含K个不同尺度的子字典，将初始字典原子按照尺度递减顺序排列为树状结构。对不同尺度的字典原子进行零填充，得到相应的字典矩阵D＝[d1,…,dp]，建立优化目标函数为非均匀加权的混合l1/l2范式正则的最小化问题：
其中D为字典，A为稀疏系数矩阵，αi为信号xi在字典D上的稀疏系数矩阵的列向量，λ为正则化参数，为约束字典列向量l2范式值不大于1的矩阵凸集。
为层次稀疏约束的正则项，其中
为字典原子分组g所构成的组集合，wg为组加权参数，αg为以分组g作为索引集的稀疏系数列α的子向量。由于目标问题是非凸函数，对两个变量进行交替优化，求的近似最优解。利用Gauss-Seidel迭代法，交替更新字典原子D与稀疏系数A，在保证近似误差的同时提高学习的收敛速度。由于正则项的约束，所学习到的字典原子自然排列为树形结构，随着原子尺度由粗到精逐层递减的顺序，原子所表征的信号频率逐级递增。
具体的，在一较优实施例中，分层结构稀疏编码模块对，求解属性信号的分层结构稀疏系数。由于信号的稀疏系数之间没有相互依赖关系，因此可以并行运算。对一个测试信号x,它在多尺度字典D上的分层结构稀疏分解目标问题为：
对每一个组g引入局部辅助变量zg，以及对应的等式约束zg-αg＝0，并进一步建立目标问题的增广拉格朗日表达式：
其中y为对偶变量，ρ>0为惩罚参数，P为一个二值投影矩阵。采用交替方向乘子法，交替优化两个原始变量α和z，然后对对偶变量y进行梯度上升，反复迭代直至算法收敛。其中，z的最优解可由一个分组软阈值算子求得，而α的优化是一个凸二次规划问题，可直接由KKT最优条件求解。由于α的精确求解涉及到矩阵逆运算，对于大尺度的点云信号，计算复杂度太高。为了减轻计算负荷，可以选择利用最速梯度下降法或者预条件共轭梯度法进行近似求解。
本发明上述较优实施例中的交替优化算法，可以在保证近似最优解的同时，降低传统计算复杂度，提升字典学习的收敛速度。
如图1所示，在一较优实施例中，属性信号压缩模块包括：稀疏系数重排列子模块、均匀量化子模块、差分编码预测子模块和自适应算数熵编码子模块，其中：稀疏系数重排列子模块与均匀量化子模块相连传输重排列的稀疏系数矩阵的非零系数值与索引，均匀量化子模块与差分编码预测子模块相连传输量化后的稀疏系数值，差分编码预测子模块与自适应算数熵编码子模块相连传输系数索引差分编码的残差与量化的稀疏系数值，自适应算数熵编码子模块与属性信号解码模块相连传输属性信号的熵编码比特流。
具体的，上述的稀疏系数重排列子模块按照非零元素数量递减的顺序，对稀疏系数矩阵的行向量进行重新排列，同时相应的重排列多尺度字典的列原子向量，在保证重构信号不会发生改变的前提下，降低后续索引差分编码的熵值，有效提升其压缩率。
具体的，上述的均匀量化子模块将稀疏系数矩阵A量化成整数取值的矩阵Aq，利用死区均匀量化器，设置置零区间为其余均匀量化区间尺寸的二倍，剔除携带信息量较少的极小稀疏系数，显著提升压缩效率。
具体的，上述的差分编码预测子模块按列对稀疏系数矩阵的索引进行差分编码，标记每一列的结束为零，进一步降低信息冗余。
具体的，上述的自适应算数熵编码子模块对量化的非零系数值与索引的差分预测残差进行有效的熵编码，得到点云属性信号压缩的完整比特流。
如图1所示，在一较优实施例中，属性信号解码模块包括：自适应算数熵解码子模块、差分解码预测子模块、逆量化子模块和属性信号重建子模块，其中：自适应算数熵解码子模块与差分解码预测模块相连传输解码的的稀疏系数与索引的差分预测残差，差分解码预测子模块与逆量化子模块相连传输解码的稀疏系数的索引，逆量化子模块与属性信号重建子模块相连传输逆量化的稀疏系数值与解码的系数索引，属性信号重建子模块与3D点云重建模块相连传输重构的点云属性信号。
具体的，上述的自适应算数熵解码子模块对压缩的比特流进行熵解码，得到解压缩的稀疏系数与索引的差分预测残差。
具体的，上述的差分解码预测子模块对索引残差进行解码，得到稀疏系数的索引。
具体的，上述的逆量化子模块对稀疏系数值Aq进行逆量化操作，恢复稀疏系数值，与稀疏系数的索引进行整合，得到完整的稀疏系数矩阵A。
具体的，上述的属性信号重建子模块将获得的重构稀疏系数矩阵与多尺度字典进行矩阵相乘X＝DA，得到重构的点云属性信号。
本发明上述较优实施例中压缩框架可以对分层结构稀疏编码系数进行定制化的量化、预测与熵编码，进一步提高压缩性能。
如图1所示3D点云重建模块对解码得到的几何信息与属性信号进行合成，重构出完整的点数据，该模块得到最终重建的3D点云数据。
本发明以上实施例中没有特别说明的部分，可以采用现有技术来实现。
在以上实施例的3D点云压缩系统的基础上，以下结合具体应用实施例来进行说明：
本实施例中关键参数的设置为：依据MPEG PCC点云压缩的通用测试条件，实验所用的测试点云数据包括5个512×512×512几何分辨率的点云数据，与8个1024×1024×1024几何分辨率的点云数据，包含多种数据类型，如半身与全身的人体目标，建筑物表面，文物以及自然场景等。训练数据为从大量的数据集中获取，并依据数据内容，划分为“静态目标&场景”和“人体”两种数据类别，并针对每一类数据分别训练一个多尺度字典。训练数据与测试数据没有重合。由于人眼对图像的亮度信息变化更为敏感，将原始点云从RGB颜色空间转换至YUV颜色空间。每个体素块的分辨率设置为m×m×m＝8×8×8，信号尺度数目设置为K＝2，也就是说，多尺度训练包含8×8×8以及4×4×4两种不同尺度的信号。相应的，多尺度字典的尺度数目为2，两个尺度分别512和64个字典原子，零填充之后的字典矩阵含有p＝512+64×23＝1024个字典原子。分组权重参数wg的取值空间为{2-2,2-1,20,21,22}k，其中k＝1,2代表原子为第几个尺度。正则化参数λ与惩罚参数ρ的取值空间为{10-2,10-1,100,101,102}。实验通过网格搜索法选出最好的参数组合。初始化字典为DCT基。字典学习算法在训练数据集上进行20次迭代周期，每个周期包含1000次交替方向乘子法的迭代和10次Gauss-Seidel迭代。
采用本发明上述实施例的系统对测试点云数据进行压缩，计算平均的BD-PSNR与BD-Rate作为压缩性能的衡量指标，BD-PSNR越大代表压缩系统重建质量越好，BD-Rate越小代表压缩系统节省码率越多。
与C.Zhang(ICIP2014)所提出的方法相比，本实施例系统在所有测试数据上得到的平均BD-PSNR增益为2.34dB，平均BD-Rate为-49.14％，代表本方法节省了49.14％的比特率；与R.L.de Queiroz(TIP2016)所提出的方法相比，本实施例系统在所有测试数据上得到的平均BD-PSNR增益为2.14dB，平均BD-Rate为-52.55％，代表本方法节省了52.55％的比特率；与MPEG 3DG国际化点云压缩标准基准测试模型相比，本实施例系统在所有测试数据上得到的平均BD-PSNR增益为2.64dB，平均BD-Rate为-15.37％，代表本方法节省了15.37％的比特率；与MPEG 3DG国际化点云压缩标准G-PCC相比，本实施例系统在所有测试数据上得到的平均BD-PSNR增益为0.22dB，平均BD-Rate为-0.22％，代表本方法节省了0.22％的比特率；与MPEG 3DG国际化点云压缩标准V-PCC相比，本实施例系统在所有测试数据上得到的平均BD-PSNR增益为0.55dB，平均BD-Rate为-4.16％，代表本方法节省了4.16％的比特率。
实验表明，本发明上述的实施例系统的压缩效率明显优于C.Zhang及R.L.deQueiroz所提出的方法，与国际点云压缩标准相比，可以显著提升重建性能，节省编码比特率。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (16)
1.一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述系统包括：点云数据划分模块、几何信息编码模块、几何信息解码模块、属性信号编码模块、属性信号压缩模块、属性信号解码模块、3D点云重建模块，其中：
所述点云数据划分模块对原始点云数据进行划分，得到空间均匀分布的体素集合，进一步将体素集合划分为不同尺度的点云体素块，将获得的体素集合传输给几何信息编码模块，将点云体素块传输给属性信号编码模块，所述点云体素块形成训练集、测试集；
所述几何信息编码模块通过八叉树结构对点云体素的几何位置信息进行无损编码，并将编码得到的比特流传输至几何信息解码模块；
所述几何信息解码模块对编码得到的所述比特流进行解码，得到解码后的几何信息，并传输给属性信号编码模块与3D点云重建模块；
所述属性信号编码模块从训练集中的点云体素块中学习得到多尺度结构化字典，基于所述多尺度结构化字典对测试集中的点云体素块进行分层结构稀疏编码，并将所述多尺度结构化字典传输给属性信号压缩模块与属性信号解码模块，将所述分层结构稀疏编码的稀疏编码系数传输给属性信号压缩模块；
所述属性信号压缩模块对所述稀疏编码系数进行重排列、量化、预测与熵编码，并将编码的比特流传输给属性信号解码模块；
所述属性信号解码模块通过熵解码、逆预测与逆量化获得解码的稀疏系数矩阵，依据所述多尺度结构化字典重建点云属性信号，并将重建的属性信号传输给3D点云重建模块；
所述3D点云重建模块对所述几何信息解码模块得到的几何信息与所述属性信号解码模块得到的属性信号进行整合，得到重建3D点云。
2.根据权利要求1所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述点云数据划分模块包括：体素划分子模块和块划分子模块，其中：
所述体素划分子模块将原始的无序排列的点云数据所在的边界立方体递归地划分为空间坐标系对齐的、均匀分布的体素单元，并将划分得到的体素集合传输给几何信息编码模块和块划分子模块；
所述块划分子模块将所述体素集合均匀划分为不同尺度的体素块，并将体素块集合传输给属性信号编码模块。
3.根据权利要求2所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述体素划分子模块根据八叉树结构对点云的边界立方体进行递归划分为体素单元，八叉树的每个包含点云点数据的节点表示为一个体素单元，将每个体素单元中所包含点的浮点精度坐标量化为体素中心的整数坐标，用所包含点的属性信息的平均值作为体素单元的属性信号。
4.根据权利要求2所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述块划分子模块根据预先设定的尺度数目K，将N×N×N体素单元集合均匀划分成尺度为m×m×m(m<N)的体素块，并进一步将尺度逐层递减，将其划分成尺度为
K的体素块，所得的所有体素块构成多尺度体素块集合。
5.根据权利要求3所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述几何信息编码模块对于体素划分的八叉树结构中的每一个分支节点，分配一个八比特位的字节单元，用于表示该分支节点的子节点所对应的空间单元中是否有点云的点数据存在，通过对八叉树结构的以深度-广度优先顺序进行遍历，所得到的所有字节单元组成几何信息的编码码字，并利用熵编码进一步压缩信息，得到几何信息编码比特流，传输至几何信息解码模块。
6.根据权利要求5所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述几何信息解码模块对几何编码比特流进行熵解码，获得编码的八叉树结构和每个分支节点的字节单元，进而得到每个体素单元的几何坐标信息，并传输给属性信号编码模块和3D点云重建模块。
7.根据权利要求1所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述属性信号编码模块包括：多尺度字典学习子模块和分层结构稀疏编码子模块，其中：
所述多尺度字典学习子模块针对训练集中的不同尺度的体素块中，引入权重矩阵刻画属性信号的维度不规则性，利用交替优化算法自适应的学习得到多尺度结构化字典；
所述分层结构稀疏编码子模块根据学习到的多尺度结构化字典，利用点云信号的层次化稀疏性，对测试集的多尺度体素块的属性信号进行变换编码，并将稀疏编码系数传输给属性信号压缩模块。
8.根据权利要求7所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述多尺度字典学习子模块引入非均匀权重矩阵刻画体素块的属性信号的维度不规则性，建立优化目标函数为非均匀加权的混合l1/l2范式正则的最小化问题，利用Gauss-Seidel迭代法交替更新字典原子与稀疏系数，在保证近似误差的同时提高学习的收敛速度，所学习到的字典原子自然排列为树形结构，随着原子尺度由粗到精逐层递减的顺序，原子所表征的信号频率逐级递增。
9.根据权利要求7所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述分层结构稀疏编码子模块利用点云信号天然的层次化结构先验，设计层次稀疏约束的正则项，利用交替方向乘子算法，在多尺度结构化字典的基础上对测试集中的体素块的属性信号进行有效的稀疏编码。
10.根据权利要求1所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述属性信号压缩模块包括：稀疏系数重排列子模块、均匀量化子模块、差分编码预测子模块和自适应算数熵编码子模块，其中：
所述稀疏系数重排列子模块通过对稀疏编码的系数矩阵的重排列，提升后续编码的压缩率，并将重排序后的稀疏系数传输给均匀量化子模块；
所述均匀量化子模块对稀疏系数值进行量化，差分编码预测子模块对稀疏系数的索引进行差分编码；
所述自适应算数熵编码子模块对量化之后的稀疏系数与预测之后的索引进行熵编码，并将所得的压缩比特流传输给属性信号解码模块。
11.根据权利要求10所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述稀疏系数重排列子模块按照非零元素数量递减的顺序，对稀疏系数矩阵的行向量进行重新排列，同时相应的重排列多尺度字典的列原子向量，在保证重构信号不会发生改变的前提下，降低后续索引差分编码的熵值。
12.根据权利要求10所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述均匀量化子模块利用死区均匀量化器，设置置零区间为其余均匀量化区间尺寸的二倍，剔除携带信息量较少的极小稀疏系数。
13.根据权利要求10所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述差分编码预测子模块按列对稀疏系数矩阵的索引进行差分编码，标记每一列的结束为零，进一步降低信息冗余。
14.根据权利要求10所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述自适应算数熵编码子模块对量化的非零系数值与索引的差分预测残差进行有效的熵编码，得到点云属性信号压缩的完整比特流。
15.根据权利要求1-14任一项所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述属性信号解码模块包括：自适应算数熵解码子模块、差分解码预测子模块、逆量化子模块和属性信号重建子模块，其中：
所述自适应算数熵解码子模块对压缩的比特流进行熵解码，得到解压缩的稀疏系数与索引的差分预测残差，传输给差分解码预测子模块；
所述差分解码预测子模块对索引残差进行解码，得到稀疏系数的索引，传输给逆量化子模块；
所述逆量化子模块对稀疏系数值进行逆量化操作，恢复稀疏系数值，与稀疏系数的索引进行整合，得到完整的稀疏系数矩阵，并传输给属性信号重建子模块；
所述属性信号重建子模块将获得的重构稀疏系数矩阵与多尺度字典进行矩阵相乘，从而得到重构的点云属性信号，并将其传输给3D点云重建模块。
16.根据权利要求1-14任一项所述一种基于多尺度结构化字典学习的3D点云压缩系统，其特征在于，所述3D点云重建模块对解码得到的几何信息与属性信号进行合成，重构出完整的点数据，该模块得到最终重建的3D点云数据。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011002405.0A CN112184840B (zh) | 2020-09-22 | 2020-09-22 | 基于多尺度结构化字典学习的3d点云压缩系统 |
| PCT/CN2021/119045 WO2022063055A1 (zh) | 2020-09-22 | 2021-09-17 | 基于多尺度结构化字典学习的3d点云压缩系统 |
| US18/182,401 US11836954B2 (en) | 2020-09-22 | 2023-03-13 | 3D point cloud compression system based on multi-scale structured dictionary learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011002405.0A CN112184840B (zh) | 2020-09-22 | 2020-09-22 | 基于多尺度结构化字典学习的3d点云压缩系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112184840A CN112184840A (zh) | 2021-01-05 |
| CN112184840B true CN112184840B (zh) | 2022-09-02 |
Family
ID=73956334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011002405.0A Active CN112184840B (zh) | 2020-09-22 | 2020-09-22 | 基于多尺度结构化字典学习的3d点云压缩系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11836954B2 (zh) |
| CN (1) | CN112184840B (zh) |
| WO (1) | WO2022063055A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11836954B2 (en) * | 2020-09-22 | 2023-12-05 | Shanghai Jiao Tong University | 3D point cloud compression system based on multi-scale structured dictionary learning |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634454B (zh) * | 2021-03-08 | 2021-06-29 | 南京泛在实境科技有限公司 | 基于oldl_dwt的点云古典建筑曲面重建方法 |
| CN112995662B (zh) * | 2021-03-12 | 2022-10-25 | 北京大学深圳研究生院 | 一种点云的属性熵编码和熵解码的方法及设备 |
| CN113095172B (zh) * | 2021-03-29 | 2022-08-05 | 天津大学 | 一种基于深度学习的点云三维物体检测方法 |
| CN113284248B (zh) * | 2021-06-10 | 2022-11-15 | 上海交通大学 | 一种点云有损压缩的编解码方法、装置和系统 |
| CN113613010A (zh) * | 2021-07-07 | 2021-11-05 | 南京大学 | 基于稀疏卷积神经网络的点云几何无损压缩方法 |
| EP4141795A1 (en) * | 2021-08-31 | 2023-03-01 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor |
| CN114708343A (zh) * | 2022-03-22 | 2022-07-05 | 上海交通大学 | 基于图字典学习的三维点云编解码方法、压缩方法及装置 |
| CN115049750B (zh) * | 2022-05-31 | 2023-06-16 | 九识智行(北京)科技有限公司 | 基于八叉树的体素地图生成方法、装置、存储介质及设备 |
| CN114926556B (zh) * | 2022-06-07 | 2024-03-26 | 北京大学深圳研究生院 | 一种三维视频点云图片的处理方法 |
| WO2024096938A2 (en) * | 2022-07-22 | 2024-05-10 | Numerica Corporation | Multi-target detection using convex sparsity prior |
| WO2024065804A1 (zh) * | 2022-09-30 | 2024-04-04 | 华为技术有限公司 | 数据压缩传输方法、装置、设备以及存储介质 |
| WO2024065803A1 (zh) * | 2022-09-30 | 2024-04-04 | 华为技术有限公司 | 数据压缩传输方法、装置、设备以及存储介质 |
| WO2024082101A1 (zh) * | 2022-10-17 | 2024-04-25 | Oppo广东移动通信有限公司 | 编解码方法、解码器、编码器、码流及存储介质 |
| CN116070091B (zh) * | 2023-03-01 | 2024-05-24 | 北京大学 | 基于在线字典学习的多模态机械加工中心信号的重构方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060136402A1 (en) * | 2004-12-22 | 2006-06-22 | Tsu-Chang Lee | Object-based information storage, search and mining system method |
| CN101848393B (zh) * | 2010-06-08 | 2011-08-31 | 上海交通大学 | 可伸缩视频稀疏信息处理系统 |
| CN103489203A (zh) * | 2013-01-31 | 2014-01-01 | 清华大学 | 基于字典学习的图像编码方法及系统 |
| CN103886625B (zh) * | 2014-01-09 | 2017-02-15 | 北京工业大学 | 一种基于压缩感知的点云数据稀疏表示方法 |
| CN104199627B (zh) * | 2014-07-11 | 2018-01-19 | 上海交通大学 | 基于多尺度在线字典学习的可分级视频编码系统 |
| CN104268934B (zh) * | 2014-09-18 | 2017-04-12 | 中国科学技术大学 | 一种由点云直接重建三维曲面的方法 |
| CN108603922A (zh) | 2015-11-29 | 2018-09-28 | 阿特瑞斯公司 | 自动心脏体积分割 |
| US10223810B2 (en) * | 2016-05-28 | 2019-03-05 | Microsoft Technology Licensing, Llc | Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression |
| US10909725B2 (en) * | 2017-09-18 | 2021-02-02 | Apple Inc. | Point cloud compression |
| US10778412B2 (en) | 2017-12-28 | 2020-09-15 | Intel Corporation | Multi-domain convolutional neural network |
| GB2575514B (en) * | 2018-07-13 | 2022-05-25 | Vividq Ltd | Method and system for compressing and decompressing digital three-dimensional point cloud data |
| US11010931B2 (en) * | 2018-10-02 | 2021-05-18 | Tencent America LLC | Method and apparatus for video coding |
| WO2020072665A1 (en) * | 2018-10-02 | 2020-04-09 | Futurewei Technologies, Inc. | Hierarchical tree attribute coding in point cloud coding |
| CN111684808A (zh) * | 2019-05-31 | 2020-09-18 | 深圳市大疆创新科技有限公司 | 点云数据的编码方法、编码装置、解码方法与解码装置 |
| CN110278444B (zh) * | 2019-07-17 | 2022-11-01 | 华侨大学 | 一种采用几何引导的稀疏表示三维点云压缩方法 |
| CN110400300B (zh) * | 2019-07-24 | 2023-06-23 | 哈尔滨工业大学（威海） | 基于块匹配自适应权重稀疏表示的病变血管精确检测方法 |
| CN111145090B (zh) * | 2019-11-29 | 2023-04-25 | 鹏城实验室 | 一种点云属性编码方法、解码方法、编码设备及解码设备 |
| CN112184840B (zh) * | 2020-09-22 | 2022-09-02 | 上海交通大学 | 基于多尺度结构化字典学习的3d点云压缩系统 |
-
2020
- 2020-09-22 CN CN202011002405.0A patent/CN112184840B/zh active Active
-
2021
- 2021-09-17 WO PCT/CN2021/119045 patent/WO2022063055A1/zh active Application Filing
-
2023
- 2023-03-13 US US18/182,401 patent/US11836954B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11836954B2 (en) * | 2020-09-22 | 2023-12-05 | Shanghai Jiao Tong University | 3D point cloud compression system based on multi-scale structured dictionary learning |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230215055A1 (en) | 2023-07-06 |
| CN112184840A (zh) | 2021-01-05 |
| WO2022063055A1 (zh) | 2022-03-31 |
| US11836954B2 (en) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112184840B (zh) | 基于多尺度结构化字典学习的3d点云压缩系统 | |
| US10904564B2 (en) | Method and apparatus for video coding | |
| Liu et al. | A hybrid compression framework for color attributes of static 3D point clouds | |
| de Oliveira Rente et al. | Graph-based static 3D point clouds geometry coding | |
| US10694210B2 (en) | Scalable point cloud compression with transform, and corresponding decompression | |
| US20200302651A1 (en) | Methods and devices for predictive point cloud attribute coding | |
| CN107819469A (zh) | 对表示物理属性的信号进行压缩 | |
| KR20140089426A (ko) | 예측성 위치 디코딩 | |
| US20220292730A1 (en) | Method and apparatus for haar-based point cloud coding | |
| CN114708343A (zh) | 基于图字典学习的三维点云编解码方法、压缩方法及装置 | |
| Shi et al. | Distilled low rank neural radiance field with quantization for light field compression | |
| Emara et al. | Image compression using advanced optimization algorithms | |
| CN115102934B (zh) | 点云数据的解码方法、编码方法、装置、设备及存储介质 | |
| Wei et al. | Enhanced intra prediction scheme in point cloud attribute compression | |
| Al-Khafaji et al. | Grey-Level image compression using 1-d polynomial and hybrid encoding technique | |
| KR20220036980A (ko) | 블록 파티셔닝을 통한 신경망 모델 압축 | |
| Nguyen et al. | Deep Probabilistic Model for Lossless Scalable Point Cloud Attribute Compression | |
| Ricordel et al. | Tree-structured lattice vector quantization | |
| Hu et al. | Learning Neural Volumetric Field for Point Cloud Geometry Compression | |
| RU2778377C1 (ru) | Способ и устройство для кодирования облака точек | |
| US20230377208A1 (en) | Geometry coordinate scaling for ai-based dynamic point cloud coding | |
| CN114283214A (zh) | 一种光场图像编码和解码方法、系统、装置、设备及介质 | |
| Sun et al. | Cluster-based two-branch framework for point cloud attribute compression | |
| Li et al. | MPEG Geometry-Based Point Cloud Compression (G-PCC) Standard | |
| WO2024085936A1 (en) | System and method for geometry point cloud coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |