CN108171761A - 一种基于傅里叶图变换的点云帧内编码方法及装置 - Google Patents

一种基于傅里叶图变换的点云帧内编码方法及装置 Download PDF

Info

Publication number
CN108171761A
CN108171761A CN201711331571.3A CN201711331571A CN108171761A CN 108171761 A CN108171761 A CN 108171761A CN 201711331571 A CN201711331571 A CN 201711331571A CN 108171761 A CN108171761 A CN 108171761A
Authority
CN
China
Prior art keywords
volume elements
point cloud
cloud volume
submodule
elements set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711331571.3A
Other languages
English (en)
Other versions
CN108171761B (zh
Inventor
马思伟
徐逸群
王苫社
李俊儒
胡玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201711331571.3A priority Critical patent/CN108171761B/zh
Priority to PCT/CN2017/117856 priority patent/WO2019114023A1/zh
Publication of CN108171761A publication Critical patent/CN108171761A/zh
Application granted granted Critical
Publication of CN108171761B publication Critical patent/CN108171761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于傅里叶图变换的点云帧内编码方法及装置，属于点云数字信号处理领域。所述方法包括：对原始三维点云进行体元化，得到多个点云体元；对得到的多个点云体元进行聚类得到多个点云体元集合；分别对多个点云体元集合进行基于主方向权重的傅里叶图变换；对变换后的各点云体元集合进行均匀量化及算术编码，生成对应的码流。本发明中的方法，对聚类得到的每个点云体元集合独立构图，减低了构图的复杂度；对每一个点云体元集合独立编码，使每一类中的点云分布更加均匀，紧凑；并充分利用了局部相似性特征，更加充分的表达出点与点之间的相关性，同时降低了噪声等无关因素的影响。

Description

一种基于傅里叶图变换的点云帧内编码方法及装置
技术领域
本发明涉及点云数字信号处理领域，尤其涉及一种基于傅里叶图变换的点云帧内编码方法及装置。
背景技术
对比多路纹理加深度的数据格式，三维点云是一种更加高效的数据表示形式，其由大量的三维无序点组成，每一个点包括位置信息(X，Y，Z)以及若干属性信息(颜色，法向量等)。随着计算机硬件及算法的发展，三维点云数据的获取越来越方便，点云的数据量也越来越大。为了方便点云数据的存储与传输，点云压缩技术逐渐成为人们关注的焦点。
现有的点云压缩技术的相关研究，包括：以下文献1中MPEG(Moving PicturesExperts Group/Motion Pictures Experts Group，动态图像专家组)成立工作组3DG，对于点云压缩做出了标准化准备，并推出了MP3DG-PCC点云编码软件；以下文献2中，提出的一种区域自适应的层次变换方法(RAHT)，其基于小波的思想，对于点云颜色属性进行多层分解编码；以下文献3中，提出的一种基于傅里叶图变换的点云编码方法，对于三维点云进行图模型构建，将每一个三维点看作是图中的节点，而颜色信息则抽象为节点上面的信号，并利用点与点之间的距离，即欧式距离作为特征，对于边进行权重赋值，由此得到傅里叶图变换系数，进而对于颜色信息进行编码。然而，现有的研究中，通常是基于点云数据间的相关性，进行空间均匀划分，使得划分后每一类中的点云分布不均匀、不紧凑；并且在构图时，矩阵维度过大，会带来巨大的计算量，提升了复杂度。
文献1：“Draft call for proposals for point cloud compression,”in ISO/IECJTC1/SC29/WG11(MPEG)output document N16538,Oct.2016.
文献2：:Ricardo L de Queiroz and Philip A Chou,“Compressionof 3d pointclouds using a region-adaptive hierarchicaltransform,”IEEE Transactions onImage Processing,vol.25,no.8,pp.3947–3956,2016.
文献3：Cha Zhang,Dinei Florencio,and Charles Loop,“Pointcloudattribute compression with graph transform,”inIEEE International Conferenceon Image Processing(ICIP),2014,pp.2066–2070.
发明内容
为解决现有技术的不足，本发明提供一种基于傅里叶图变换的点云帧内编码方法及装置。
一方面，本发明提供一种基于傅里叶图变换的点云帧内编码方法，包括：
步骤S1：对原始三维点云进行体元化，得到多个点云体元；
步骤S2：对所述多个点云体元进行聚类得到多个点云体元集合；
步骤S3：分别对所述多个点云体元集合进行基于主方向权重的傅里叶图变换；
步骤S4：对变换后的各点云体元集合进行均匀量化及算术编码，生成对应的码流。
可选地，所述步骤S1，具体为：对原始三维点云进行体元化，得到多个点云体元及各点云体元的坐标和属性信息；
可选地，所述步骤S2，具体包括：
步骤S2-1：根据得到的点云体元的数量及预设的点云体元集合的平均点数，预测点云体元集合的数量；
步骤S2-2：根据预测的点云体元集合的数量以及各点的坐标，通过K-means算法对所述多个点云体元进行聚类，得到相应数量的点云体元集合。
可选地，所述步骤S3，具体包括：
步骤S3-1：在所述多个点云体元集合中任意选取一个点云体元集合，确定选取的点云体元集合中任一点云体元的第一相邻点云体元集合；
步骤S3-2：分别确定所述第一相邻点云体元集合中各点云体元的第二相邻点云体元集合；
步骤S3-3：根据K邻近算法，在所述第一相邻点云体元集合中找到所述任一点云体元的预设数量的邻居，构成第一邻域，并在各第二相邻云体元集合中分别找到对应的所述第一相邻点云体元集合中各点云体元的预设数量的邻居，构成对应的各第二邻域；
步骤S3-4：计算所述第一邻域及所述各第二邻域的主方向向量，并计算任意两个主方向向量间的权重，构成权重矩阵；
步骤S3-5：对所述权重矩阵进行变换得到傅里叶变换系数；
步骤S3-6：根据所述傅里叶变换系数对选取的点云体元集合的属性信息进行变换；
步骤S3-7：重复执行上述操作，直至所述多个点云体元集合均处理完成。
可选地，所述步骤S3-4，具体包括：
步骤S3-4-1：根据各邻域中各点云体元的坐标，计算各邻域中任意两个点云体元之间的协方差，并构成各协方差矩阵，对所述各协方差矩阵进行特征值分解得到各特征向量，将所述各特征向量作为对应的各邻域的主方向向量；
步骤S3-4-2：计算任意两个主方向向量之间夹角的正弦值，根据所述正弦值计算对应的两个主方向向量间的权重，并构成权重矩阵。
可选地，所述步骤S3-5，具体包括：
步骤S3-5-1：分别将所述权重矩阵的各行中的各元素相加得到各计算结果；
步骤S3-5-2：将所述各计算结果作为对角线元素构成度矩阵；
步骤S3-5-3：对所述权重矩阵和所述度矩阵进行计算得到拉普拉斯矩阵；
步骤S3-5-4：计算所述拉普拉斯矩阵的特征向量，并将计算的特征向量构成矩阵得到傅里叶变换系数。
另一方面，本发明提供了一种基于傅里叶图变换的点云帧内编码装置，包括：
体元化模块，用于对原始三维点云进行体元化，得到多个点云体元；
聚类模块，用于所述体元化模块得到的多个点云体元进行聚类得到多个点云体元集合；
变换模块，用于分别对所述聚类模块得到的多个点云体元集合进行基于主方向权重的傅里叶图变换；
生成模块，用于对所述变换模块变换后的各点云体元集合进行均匀量化及算术编码，生成对应的码流。
可选地，所述体元化模块，具体用于：对原始三维点云进行体元化，得到多个点云体元及各点云体元的坐标和属性信息；
可选地，所述聚类模块，具体包括：预测子模块和聚类子模块；
所述预测子模块，用于根据所述体元化模块得到的点云体元的数量及预设的点云体元集合的平均点数，预测点云体元集合的数量；
所述聚类子模块，用于根据所述预测子模块预测的点云体元集合的数量以及所述体元化模块得到的各点的坐标，通过K-means算法对所述多个点云体元进行聚类，得到相应数量的点云体元集合。
可选地，所述变换模块，具体包括：选取子模块、第一确定子模块、第二确定子模块、构成子模块、第一计算子模块、第二计算子模块、第一变换子模块和第二变换子模块；
所述选取子模块，用于在所述聚类模块得到的多个点云体元集合中任意选取一个点云体元集合；
所述第一确定子模块，用于确定所述选取子模块选取的点云体元集合中任一点云体元的第一相邻点云体元集合；
所述第二确定子模块，用于确定所述第一确定子模块确定的第一相邻点云体元集合中各点云体元的第二相邻点；
所述构成子模块，用于根据K邻近算法，在所述第一确定子模块确定的第一相邻点云体元集合中找到所述任一点云体元的预设数量的邻居，构成第一邻域，并在所述第二确定子模块确定的各第二相邻点云体元集合中分别找到对应的所述第一相邻点云体元集合中各点云体元的预设数量的邻居，构成对应的各第二邻域；
所述第一计算子模块，用于所述构成子模块构成的第一邻域及各第二邻域的主方向向量；
所述第二计算子模块，用于计算所述第一计算子模块得到的任意两个主方向向量间的权重，构成权重矩阵；
所述第一变换子模块，用于所述第二计算子模块构成的权重矩阵进行变换得到傅里叶变换系数；
所述第二变换子模块，用于根据所述第一变换子模块得到的傅里叶变换系数对所述选取子模块选取的点云体元集合的属性信息进行变换。
可选地，所述第一计算子模块，具体用于：根据各邻域中各点云体元的坐标，计算各邻域中任意两个点云体元之间的协方差，构成各协方差矩阵，对所述各协方差矩阵进行特征值分解得到各特征向量，将所述各特征向量作为对应的各邻域的主方向向量；
可选地，所述第二计算子模块，具体用于：计算任意两个主方向向量之间夹角的正弦值，根据所述正弦值计算对应的两个主方向向量间的权重，并构成权重矩阵。
可选地，所述第一变换子模块，具体包括：第一计算单元、构成单元、第二计算单元和第三计算单元；
所述第一计算单元，用于分别将所述第二计算子模块得到的权重矩阵的各行中的各元素相加得到各计算结果；
所述构成单元，用于将所述第一计算单元得到的各计算结果作为对角线元素构成度矩阵；
所述第二计算单元，用于对所述第二计算子模块得到的权重矩阵和所述构成单元得到的度矩阵进行计算得到拉普拉斯矩阵；
所述第三计算单元，用于计算所述第二计算单元得到的拉普拉斯矩阵的特征向量，并将计算的特征向量构成矩阵得到傅里叶变换系数。
本发明的优点在于：
本发明中，一方面，通过对点云划分预处理，使用基于位置信息的聚类方法，将整体点云划分为多个点云体元集合(即，子点云)，并对每一个点云体元集合独立构图，减低了构图的复杂度；同时对每一个点云体元集合独立编码，相比于空间均匀划分，本发明中考虑到了点云的位置分布，使每一类中的点云分布更加均匀，紧凑。另一方面，进行基于邻域主方向向量的权重赋值，相比于基于欧式距离的离散型权重赋值，本发明中充分利用了局部相似性特征，其可以更加充分的表达出点与点之间的相关性。再一方面，基于主方向相似性的傅里叶图变换更加鲁棒，相比于点与点间特征的傅里叶图变换，可以降低噪声等无关因素的影响。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
附图1为本发明提供的一种基于傅里叶图变换的点云帧内编码方法流程图；
附图2为本发明提供的相邻主方向向量间夹角及欧氏距离的示意图；
附图3为本发明提供的基于傅里叶图变换的点云帧内编码方法的一个应用实例示意图；
附图4为本发明提供的不同编码方法的性能比对图；
附图5为本发明提供的一种基于傅里叶图变换的点云帧内编码装置模块组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
根据本发明的实施方式，提供一种基于傅里叶图变换的点云帧内编码方法，如图1所示，包括：
步骤101：对原始三维点云进行体元化，得到多个点云体元；
具体地，构建预设大小的三维网格，将原始三维点云置于构建的三维网格中，得到各点的坐标，并将含有点的三维网格作为点云体元，得到多个点云体元及各点云体元的坐标和属性信息。其中，点云体元集合的属性信息，例如强度、颜色等；为不失普遍性，本发明中以颜色为例进行说明。
进一步地，在本实施例中，点云体元的坐标，具体为点云体元中各点的中心点的坐标；点云体元的颜色信息，具体为点云体元中各点的颜色信息的平均值。
更进一步地，在某些实施方式中，还可以采用八叉树的方式等对原始三维点云进行体元化，得到多个点云体元，本发明中不再一一详述。
步骤102：对得到的多个点云体元进行聚类得到多个点云体元集合；
根据本发明的实施方式，步骤102，具体包括：
步骤102-1：根据得到的点云体元的数量及预设的点云体元集合的平均点数，预测点云体元集合的数量；
具体地，根据得到的点云体元的数量及预设的点云体元集合的平均点数，通过以下公式一，预测点云体元集合的数量；
公式一：K＝N/n，其中，K为预测的点云体元集合的数量，N为点云体元的数量，n为点云体元集合的平均点数(即，点云体元集合中点云体元的数量)。
需要指出地，n仅仅是认为的点云体元集合中点云体元的数量，其用于预测点云体元集合的数量，聚类得到的点云体元集合中点云体元的数量不一定是n。
步骤102-2：根据预测的点云体元集合的数量以及各点云体元的坐标，通过K-means算法对得到的多个点云体元进行聚类，得到相应数量的点云体元集合。
步骤103：分别对得到的多个点云体元集合进行基于主方向权重的傅里叶图变换；
根据本发明的实施方式，步骤103，具体包括：
步骤103-1：在得到的多个点云体元集合中任意选取一个点云体元集合，确定选取的点云体元集合中任一点云体元的第一相邻点云体元集合；
具体地，以点云体元集合中任一点云体元i为圆心，以预设长度为半径圈定点云体元i的相邻区域，位于圈定的相邻区域中的各点云体元j即为点云体元i的第一相邻点云体元集合。
其中，预设长度，可以根据需求自行设定。
步骤103-2：分别确定第一相邻点云体元集合中各点云体元的第二相邻点云体元集合；
具体地，分别以第一相邻点云体元集合中的各点云体元j为圆心，以预设长度为半径圈定第一相邻点云体元集合中的各点云体元j的相邻区域，位于圈定的相邻区域中的各点云体元f即为对应的各点云体元j的第二相邻点云体元集合。
步骤103-3：根据K邻近算法，在第一相邻点云体元集合中找到所述任一点云体元的预设数量的邻居，构成第一邻域，并在各第二相邻点云体元集合中分别找到对应的第一相邻点云体元集合中各点云体元的预设数量的邻居，构成对应的各第二邻域；
其中，预设数量可以根据需求自行设定。
步骤103-4：计算第一邻域及各第二邻域的主方向向量，并计算任意两个主方向向量间的权重，构成权重矩阵；
根据本发明的实施方式，步骤103-4，具体包括：
步骤103-4-1：根据各邻域中各点云体元的坐标，计算各邻域中任意两个点云体元之间的协方差，并构成各协方差矩阵，对各协方差矩阵进行特征值分解得到各特征向量，将各特征向量作为对应的各邻域的主方向向量；
步骤103-4-2：计算任意两个主方向向量之间夹角的正弦值，根据正弦值计算对应的两个主方向向量间的权重，并构成权重矩阵。
其中，根据正弦值计算对应的两个主方向向量间的权重，具体为：根据正弦值，通过以下公式二计算对应的两个主方向向量间的权重；
公式二：其中，Wij为相邻点云体元i和j所在邻域的主方向向量间的权重，θ为相邻点云体元i和j所在邻域的主方向向量间的夹角，σ是为找到Wij的最优值，自行设定的调节变量。
进一步地，在本实施例中，给出两个相邻点云体元i和j所在邻域的主方向向量间的夹角的示意图，如图2所示；需要说明地，其仅用于示意而不用于限定。
步骤103-5：对得到的权重矩阵进行变换得到傅里叶变换系数；
根据本发明的实施方式，步骤103-5，具体包括：
步骤103-5-1：分别将权重矩阵的各行中的各元素相加得到各计算结果；
步骤103-5-2：将各计算结果作为对角线元素构成度矩阵；
具体地，将各计算结果作为对角线元素，并将其他元素用0填充，构成度矩阵。
步骤103-5-3：对权重矩阵和度矩阵进行计算得到拉普拉斯矩阵；
具体地，对权重矩阵和度矩阵按照以下公式三进行计算得到拉普拉斯矩阵；
公式三：L＝D-W，其中，L是拉普拉斯矩阵，D是度矩阵，W是权重矩阵。
步骤103-5-4：计算拉普拉斯矩阵的特征向量，并将计算的特征向量构成矩阵得到傅里叶变换系数。
步骤103-6：根据得到的傅里叶变换系数对选取的点云体元集合的属性信息进行变换；
具体地，根据得到的傅里叶变换系数通过以下公式四对选取的点云体元集合的属性信息进行变换；
公式四：其中，T为变换结果，为傅里叶变换系数的装置矩阵，Q为选取的点云体元集合的属性向量。
本发明中以颜色为例进行说明，具体地，将选取的点云体元集合的颜色组织为三个m*1的列向量(分别为Y分量、U分量、V分量)，以Y分量为例，根据公式四对Y分量进行变换，则有
步骤103-7：重复执行上述操作，直至得到的多个点云体元集合均处理完成。
步骤104：对变换后的各点云体元集合进行均匀量化及算术编码，生成对应的码流。
其中，均匀量化及算术编码的过程为本领域人员熟知的技术手段，本发明中不再进行详述。
为更好的理解本发明的技术方案，本实施例中给出一个具体的应用实例，如图3所示，对于某一帧中的人体点云，对其基于位置信息进行聚类，并对聚类得到的各集合进行独立构图以及通过纹理构成的邻域计算主方向向量权重，最后进行均匀量化及算术编码，生成对应的码流。
本发明中，根据点云的位置信息，对于点云数据进行聚类，将整体点云划分为多个点云体元集合(即，子点云)；然后，对于每一个点云体元集合，利用距离作为标准，筛选出相邻点，充分利用了点云分布信息，对于点云进行聚类，并对每一个点云体元集合进行独立构图，降低了构图复杂度。同时，利用相邻点各自邻域内的主方向相似性，给两点间的边赋值，充分利用了点与其邻域的特征，对权重矩阵进行权值修改，提升了整体的编码效果。
进一步地，为体现本发明技术方案的优势，如图4所示，给出使用本发明中的方法(对应图4中的OURS)与现有的方法RAHT、DCT、MP3DG-PCC，分别对名称为Andrew、Boy、David、Dimitris、Phil、Ricardo、Sarah的点云帧进行编码的性能比对图，其中，各比对图中的横轴Color Byte per Voxel(B/V)为码率，纵轴PSNR-Y(dB)为峰值信噪比，总体来看，本发明中编码方法的性能要远远好于其他方法。
实施例二
根据本发明的实施方式，提供一种基于傅里叶图变换的点云帧内编码装置，如图4所示，包括：
体元化模块201，用于对原始三维点云进行体元化，得到多个点云体元；
聚类模块202，用于体元化模块201得到的多个点云体元进行聚类得到多个点云体元集合；
变换模块203，用于分别对聚类模块202得到的多个点云体元集合进行基于主方向权重的傅里叶图变换；
生成模块204，用于对变换模块203变换后的各点云体元集合进行均匀量化及算术编码，生成对应的码流。
根据本发明的实施方式，体元化模块201，具体用于：对原始三维点云进行体元化，得到多个点云体元及各点云体元的坐标和属性信息；
根据本发明的实施方式，聚类模块202，具体包括：预测子模块和聚类子模块，其中：
预测子模块，用于根据体元化模块201得到的点云体元的数量及预设的点云体元集合的平均点数，预测点云体元集合的数量；
聚类子模块，用于根据预测子模块预测的点云体元集合的数量以及体元化模块201得到的各点云体元的坐标，通过K-means算法对体元化模块201得到的多个点云体元进行聚类，得到相应数量的点云体元集合。
更加具体地，预测子模块，用于根据体元化模块201得到的点云体元的数量及预设的点云体元集合的平均点数，通过以下公式一，预测点云体元集合的数量；
公式一：K＝N/n，其中，K为预测的点云体元集合的数量，N为点云体元的数量，n为点云体元集合的平均点数(即，点云体元集合中点云体元的数量)。
根据本发明的实施方式，变换模块203，具体包括：选取子模块、第一确定子模块、第二确定子模块、构成子模块、第一计算子模块、第二计算子模块、第一变换子模块和第二变换子模块，其中：
选取子模块，用于在聚类模块202得到的多个点云体元集合中任意选取一个点云体元集合；
第一确定子模块，用于确定选取子模块选取的点云体元集合中任一点云体元的第一相邻点云体元集合；
在本实施例中，第一确定子模块，具体用于：以选取子模块选取的点云体元集合中任一点云体元i为圆心，以预设长度为半径圈定点云体元i的相邻区域，位于圈定的相邻区域中的各点云体元j即为点云体元i的第一相邻点云体元集合。
第二确定子模块，用于确定第一确定子模块确定的第一相邻点云体元集合中各点云体元的第二相邻点；
在本实施例中，第二确定子模块，具体用于：分别以第一确定子模块得到的第一相邻点云体元集合中的各点云体元j为圆心，以预设长度为半径圈定第一相邻点云体元集合中的各点云体元j的相邻区域，位于圈定的相邻区域中的各点云体元f即为对应的各点云体元j的第二相邻点云体元集合。
构成子模块，用于根据K邻近算法，在第一确定子模块确定的第一相邻点云体元集合中找到所述任一点云体元的预设数量的邻居，构成第一邻域，并在第二确定子模块确定的各第二相邻点云体元集合中分别找到对应的第一相邻点云体元集合中各点云体元的预设数量的邻居，构成对应的各第二邻域；
其中，预设数量可以根据需求自行设定。
第一计算子模块，用于计算构成子模块构成的第一邻域及各第二邻域的主方向向量；
在本实施例中，第一计算子模块，具体用于：根据各邻域中各点云体元的坐标，计算各邻域中任意两个点云体元之间的协方差，构成各协方差矩阵，对所述各协方差矩阵进行特征值分解得到各特征向量，将各特征向量作为对应的各邻域的主方向向量；
第二计算子模块，用于计算第一计算子模块得到的任意两个主方向向量间的权重，构成权重矩阵；
在本实施例中，第二计算子模块，具体用于：计算第一计算子模块得到的任意两个主方向向量之间夹角的正弦值，根据正弦值计算对应的两个主方向向量间的权重，并构成权重矩阵。
更加具体地，第二计算子模块，用于根据正弦值，通过以下公式二计算对应的两个主方向向量间的权重；
公式二：其中，Wij为相邻点云体元i和j所在邻域的主方向向量间的权重，θ为相邻点云体元i和j所在邻域的主方向向量间的夹角，σ是为找到Wij的最优值，自行设定的调节变量。
第一变换子模块，用于第二计算子模块构成的权重矩阵进行变换得到傅里叶变换系数；
第二变换子模块，用于根据第一变换子模块得到的傅里叶变换系数对选取子模块选取的点云体元集合的属性信息进行变换。
进一步地，根据本发明的实施方式，第一变换子模块，具体包括：第一计算单元、构成单元、第二计算单元和第三计算单元，其中：
第一计算单元，用于分别将第二计算子模块得到的权重矩阵的各行中的各元素相加得到各计算结果；
构成单元，用于将第一计算单元得到的各计算结果作为对角线元素构成度矩阵；
第二计算单元，用于对第二计算子模块得到的权重矩阵和构成单元得到的度矩阵进行计算得到拉普拉斯矩阵；
在本实施例中，第二计算单元，具体用于：对第二计算子模块得到的权重矩阵和构成单元得到的度矩阵，按照以下公式三进行计算得到拉普拉斯矩阵；
公式三：L＝D-W，其中，L是拉普拉斯矩阵，D是度矩阵，W是权重矩阵。
第三计算单元，用于计算第二计算单元得到的拉普拉斯矩阵的特征向量，并将计算的特征向量构成矩阵得到傅里叶变换系数。
根据本发明的实施方式，第二变换子模块，具体用于：根据第一变换子模块得到的傅里叶变换系数，通过以下公式四对选取子模块选取的点云体元集合的属性信息进行变换；
公式四：其中，T为变换结果，为傅里叶变换系数的装置矩阵，Q为选取的点云体元集合的属性向量。
本发明中，一方面，通过对点云划分预处理，使用基于位置信息的聚类方法，将整体点云划分为多个点云体元集合(即，子点云)，并对每一个点云体元集合独立编码，相比于空间均匀划分，本发明中考虑到了点云的位置分布，使每一类中的点云分布更加均匀，紧凑。另一方面，进行基于邻域主方向向量的权重赋值，相比于基于欧式距离的离散型权重赋值，本发明中充分利用了局部相似性特征，其可以更加充分的表达出点与点之间的相关性。再一方面，基于主方向相似性的傅里叶图变换更加鲁棒，相比于点与点间特征的傅里叶图变换，可以降低噪声等无关因素的影响。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于傅里叶图变换的点云帧内编码方法，其特征在于，包括：
步骤S1：对原始三维点云进行体元化，得到多个点云体元；
步骤S2：对所述多个点云体元进行聚类得到多个点云体元集合；
步骤S3：分别对所述多个点云体元集合进行基于主方向权重的傅里叶图变换；
步骤S4：对变换后的各点云体元集合进行均匀量化及算术编码，生成对应的码流。
2.根据权利要求1所述的方法，其特征在于，
所述步骤S1，具体为：对原始三维点云进行体元化，得到多个点云体元及各点云体元的坐标和属性信息；
所述步骤S2，具体包括：
步骤S2-1：根据得到的点云体元的数量及预设的点云体元集合的平均点数，预测点云体元集合的数量；
步骤S2-2：根据预测的点云体元集合的数量以及各点的坐标，通过K-means算法对所述多个点云体元进行聚类，得到相应数量的点云体元集合。
3.根据权利要求2所述的方法，其特征在于，所述步骤S3，具体包括：
步骤S3-1：在所述多个点云体元集合中任意选取一个点云体元集合，确定选取的点云体元集合中任一点云体元的第一相邻点云体元集合；
步骤S3-2：分别确定所述第一相邻点云体元集合中各点云体元的第二相邻点云体元集合；
步骤S3-3：根据K邻近算法，在所述第一相邻点云体元集合中找到所述任一点云体元的预设数量的邻居，构成第一邻域，并在各第二相邻云体元集合中分别找到对应的所述第一相邻点云体元集合中各点云体元的预设数量的邻居，构成对应的各第二邻域；
步骤S3-4：计算所述第一邻域及所述各第二邻域的主方向向量，并计算任意两个主方向向量间的权重，构成权重矩阵；
步骤S3-5：对所述权重矩阵进行变换得到傅里叶变换系数；
步骤S3-6：根据所述傅里叶变换系数对选取的点云体元集合的属性信息进行变换；
步骤S3-7：重复执行上述操作，直至所述多个点云体元集合均处理完成。
4.根据权利要求3所述的方法，其特征在于，
所述步骤S3-4，具体包括：
步骤S3-4-1：根据各邻域中各点云体元的坐标，计算各邻域中任意两个点云体元之间的协方差，并构成各协方差矩阵，对所述各协方差矩阵进行特征值分解得到各特征向量，将所述各特征向量作为对应的各邻域的主方向向量；
步骤S3-4-2：计算任意两个主方向向量之间夹角的正弦值，根据所述正弦值计算对应的两个主方向向量间的权重，并构成权重矩阵。
5.根据权利要求3所述的方法，其特征在于，所述步骤S3-5，具体包括：
步骤S3-5-1：分别将所述权重矩阵的各行中的各元素相加得到各计算结果；
步骤S3-5-2：将所述各计算结果作为对角线元素构成度矩阵；
步骤S3-5-3：对所述权重矩阵和所述度矩阵进行计算得到拉普拉斯矩阵；
步骤S3-5-4：计算所述拉普拉斯矩阵的特征向量，并将计算的特征向量构成矩阵得到傅里叶变换系数。
6.一种基于傅里叶图变换的点云帧内编码装置，其特征在于，包括：
体元化模块，用于对原始三维点云进行体元化，得到多个点云体元；
聚类模块，用于所述体元化模块得到的多个点云体元进行聚类得到多个点云体元集合；
变换模块，用于分别对所述聚类模块得到的多个点云体元集合进行基于主方向权重的傅里叶图变换；
生成模块，用于对所述变换模块变换后的各点云体元集合进行均匀量化及算术编码，生成对应的码流。
7.根据权利要求6所述的装置，其特征在于，
所述体元化模块，具体用于：对原始三维点云进行体元化，得到多个点云体元及各点云体元的坐标和属性信息；
所述聚类模块，具体包括：预测子模块和聚类子模块；
所述预测子模块，用于根据所述体元化模块得到的点云体元的数量及预设的点云体元集合的平均点数，预测点云体元集合的数量；
所述聚类子模块，用于根据所述预测子模块预测的点云体元集合的数量以及所述体元化模块得到的各点的坐标，通过K-means算法对所述多个点云体元进行聚类，得到相应数量的点云体元集合。
8.根据权利要求6所述的装置，其特征在于，所述变换模块，具体包括：选取子模块、第一确定子模块、第二确定子模块、构成子模块、第一计算子模块、第二计算子模块、第一变换子模块和第二变换子模块；
所述选取子模块，用于在所述聚类模块得到的多个点云体元集合中任意选取一个点云体元集合；
所述第一确定子模块，用于确定所述选取子模块选取的点云体元集合中任一点云体元的第一相邻点云体元集合；
所述第二确定子模块，用于确定所述第一确定子模块确定的第一相邻点云体元集合中各点云体元的第二相邻点；
所述构成子模块，用于根据K邻近算法，在所述第一确定子模块确定的第一相邻点云体元集合中找到所述任一点云体元的预设数量的邻居，构成第一邻域，并在所述第二确定子模块确定的各第二相邻点云体元集合中分别找到对应的所述第一相邻点云体元集合中各点云体元的预设数量的邻居，构成对应的各第二邻域；
所述第一计算子模块，用于所述构成子模块构成的第一邻域及各第二邻域的主方向向量；
所述第二计算子模块，用于计算所述第一计算子模块得到的任意两个主方向向量间的权重，构成权重矩阵；
所述第一变换子模块，用于所述第二计算子模块构成的权重矩阵进行变换得到傅里叶变换系数；
所述第二变换子模块，用于根据所述第一变换子模块得到的傅里叶变换系数对所述选取子模块选取的点云体元集合的属性信息进行变换。
9.根据权利要求8所述的装置，其特征在于，
所述第一计算子模块，具体用于：根据各邻域中各点云体元的坐标，计算各邻域中任意两个点云体元之间的协方差，构成各协方差矩阵，对所述各协方差矩阵进行特征值分解得到各特征向量，将所述各特征向量作为对应的各邻域的主方向向量；
所述第二计算子模块，具体用于：计算第一计算子模块得到的任意两个主方向向量之间夹角的正弦值，根据所述正弦值计算对应的两个主方向向量间的权重，并构成权重矩阵。
10.根据权利要求8所述的装置，其特征在于，所述第一变换子模块，具体包括：第一计算单元、构成单元、第二计算单元和第三计算单元；
所述第一计算单元，用于分别将所述第二计算子模块得到的权重矩阵的各行中的各元素相加得到各计算结果；
所述构成单元，用于将所述第一计算单元得到的各计算结果作为对角线元素构成度矩阵；
所述第二计算单元，用于对所述第二计算子模块得到的权重矩阵和所述构成单元得到的度矩阵进行计算得到拉普拉斯矩阵；
所述第三计算单元，用于计算所述第二计算单元得到的拉普拉斯矩阵的特征向量，并将计算的特征向量构成矩阵得到傅里叶变换系数。
CN201711331571.3A 2017-12-13 2017-12-13 一种基于傅里叶图变换的点云帧内编码方法及装置 Active CN108171761B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711331571.3A CN108171761B (zh) 2017-12-13 2017-12-13 一种基于傅里叶图变换的点云帧内编码方法及装置
PCT/CN2017/117856 WO2019114023A1 (zh) 2017-12-13 2017-12-21 一种基于傅里叶图变换的点云帧内编码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711331571.3A CN108171761B (zh) 2017-12-13 2017-12-13 一种基于傅里叶图变换的点云帧内编码方法及装置

Publications (2)

Publication Number Publication Date
CN108171761A true CN108171761A (zh) 2018-06-15
CN108171761B CN108171761B (zh) 2020-10-16

Family

ID=62525916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711331571.3A Active CN108171761B (zh) 2017-12-13 2017-12-13 一种基于傅里叶图变换的点云帧内编码方法及装置

Country Status (2)

Country Link
CN (1) CN108171761B (zh)
WO (1) WO2019114023A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461207A (zh) * 2018-11-05 2019-03-12 胡翰 一种点云数据建筑物单体化方法及装置
CN110047099A (zh) * 2019-02-27 2019-07-23 视缘(上海)智能科技有限公司 一种基于3d点云表示模型的方法
CN110232329A (zh) * 2019-05-23 2019-09-13 星际空间（天津）科技发展有限公司 基于深度学习的点云分类方法、装置、存储介质及设备
WO2020119487A1 (zh) * 2018-12-13 2020-06-18 华为技术有限公司 点云的编解码方法及装置
CN111602176A (zh) * 2019-06-03 2020-08-28 深圳市大疆创新科技有限公司 点云数据的位置坐标的编解码方法、系统和存储介质
CN111684808A (zh) * 2019-05-31 2020-09-18 深圳市大疆创新科技有限公司 点云数据的编码方法、编码装置、解码方法与解码装置
CN112384950A (zh) * 2019-06-12 2021-02-19 浙江大学 点云的编解码方法及装置
WO2021062732A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 变换方法、逆变换方法、编码器、解码器及存储介质
CN113766229A (zh) * 2021-09-30 2021-12-07 咪咕文化科技有限公司 一种编码方法、解码方法、装置、设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751695A (zh) * 2008-12-10 2010-06-23 中国科学院自动化研究所 点云数据的主曲率和主方向估计方法
US20100239178A1 (en) * 2009-03-23 2010-09-23 Level Set Systems Method and apparatus for accurate compression and decompression of three-dimensional point cloud data
CN102914501A (zh) * 2012-07-26 2013-02-06 南京大学 一种利用激光点云计算三维森林冠层消光系数的方法
CN104596444A (zh) * 2015-02-15 2015-05-06 四川川大智胜软件股份有限公司 一种基于编码图案投影的三维照相系统及方法
CN105043298A (zh) * 2015-08-21 2015-11-11 东北大学 基于傅里叶变换无需相位展开的快速三维形貌测量方法
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
US20170347122A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069839B (zh) * 2015-08-03 2018-01-16 清华大学深圳研究生院 一种三维点云模型的计算全息图生成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751695A (zh) * 2008-12-10 2010-06-23 中国科学院自动化研究所 点云数据的主曲率和主方向估计方法
US20100239178A1 (en) * 2009-03-23 2010-09-23 Level Set Systems Method and apparatus for accurate compression and decompression of three-dimensional point cloud data
CN102914501A (zh) * 2012-07-26 2013-02-06 南京大学 一种利用激光点云计算三维森林冠层消光系数的方法
CN104596444A (zh) * 2015-02-15 2015-05-06 四川川大智胜软件股份有限公司 一种基于编码图案投影的三维照相系统及方法
CN105043298A (zh) * 2015-08-21 2015-11-11 东北大学 基于傅里叶变换无需相位展开的快速三维形貌测量方法
US20170347122A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG CHA等: "POINT CLOUD ATTRIBUTE COMPRESSION WITH GRAPH TRANSFORM", 《2014 IEE INTERNATIONAL CONFERENCE ON》 *
刘金玲等: "基于快速傅立叶变换实现点云的表面重构", 《计算机应用与软件》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461207A (zh) * 2018-11-05 2019-03-12 胡翰 一种点云数据建筑物单体化方法及装置
WO2020119487A1 (zh) * 2018-12-13 2020-06-18 华为技术有限公司 点云的编解码方法及装置
US11961265B2 (en) 2018-12-13 2024-04-16 Huawei Technologies Co., Ltd. Point cloud encoding and decoding method and apparatus
CN110047099A (zh) * 2019-02-27 2019-07-23 视缘(上海)智能科技有限公司 一种基于3d点云表示模型的方法
CN110232329A (zh) * 2019-05-23 2019-09-13 星际空间（天津）科技发展有限公司 基于深度学习的点云分类方法、装置、存储介质及设备
CN110232329B (zh) * 2019-05-23 2023-04-18 星际空间（天津）科技发展有限公司 基于深度学习的点云分类方法、装置、存储介质及设备
WO2020237647A1 (zh) * 2019-05-31 2020-12-03 深圳市大疆创新科技有限公司 点云数据的编码方法、编码装置、解码方法与解码装置
CN111684808A (zh) * 2019-05-31 2020-09-18 深圳市大疆创新科技有限公司 点云数据的编码方法、编码装置、解码方法与解码装置
WO2020243874A1 (zh) * 2019-06-03 2020-12-10 深圳市大疆创新科技有限公司 点云数据的位置坐标的编解码方法、系统和存储介质
CN111602176A (zh) * 2019-06-03 2020-08-28 深圳市大疆创新科技有限公司 点云数据的位置坐标的编解码方法、系统和存储介质
CN112384950A (zh) * 2019-06-12 2021-02-19 浙江大学 点云的编解码方法及装置
WO2021062732A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 变换方法、逆变换方法、编码器、解码器及存储介质
CN113766229A (zh) * 2021-09-30 2021-12-07 咪咕文化科技有限公司 一种编码方法、解码方法、装置、设备及可读存储介质
WO2023051783A1 (zh) * 2021-09-30 2023-04-06 咪咕文化科技有限公司 一种编码方法、解码方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN108171761B (zh) 2020-10-16
WO2019114023A1 (zh) 2019-06-20

Similar Documents

Publication Publication Date Title
CN108171761A (zh) 一种基于傅里叶图变换的点云帧内编码方法及装置
He et al. Deep learning based 3D segmentation: A survey
CN109410307B (zh) 一种场景点云语义分割方法
Wang et al. Pixel2Mesh: 3D mesh model generation via image guided deformation
CN111325851B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
Zhang et al. Meshstereo: A global stereo model with mesh alignment regularization for view interpolation
Wen et al. Lossy geometry compression of 3d point cloud data via an adaptive octree-guided network
Stiller Object-based estimation of dense motion fields
CN110544297A (zh) 一种单幅图像的三维模型重建方法
CN103699578B (zh) 一种基于谱图分析的图像检索方法
CA2350017A1 (en) System and method for 4d reconstruction and visualization
CN111862278B (zh) 一种动画获得方法、装置、电子设备及存储介质
Zhang et al. Clustering and DCT based color point cloud compression
Ainala et al. An improved enhancement layer for octree based point cloud compression with plane projection approximation
CN112634438A (zh) 基于对抗网络的单帧深度图像三维模型重建方法及装置
Shen et al. Multi-scale structured dictionary learning for 3-D point cloud attribute compression
Liu et al. DLGAN: Depth-preserving latent generative adversarial network for 3D reconstruction
Zhou et al. On the predictability of HRTFs from ear shapes using deep networks
Pan et al. Surface Reconstruction with higher-order smoothness
CN112102315B (zh) 医学影像处理方法、装置、计算机设备和存储介质
Chao et al. Skeleton-based motion estimation for Point Cloud Compression
Li et al. 3-D Point Cloud Attribute Compression With $ p $-Laplacian Embedding Graph Dictionary Learning
Cheng et al. Fast visualization of 3D massive data based on improved Hilbert R-tree and stacked LSTM models
CN117409144A (zh) 三维实体模型的重建方法、装置、设备、介质和程序产品
Rao et al. Light-Net: lightweight object detector

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant