CN110097605B - 一种基于支持向量机的点云压缩编码器关键参数优化方法 - Google Patents

一种基于支持向量机的点云压缩编码器关键参数优化方法 Download PDF

Info

Publication number
CN110097605B
CN110097605B CN201910367878.1A CN201910367878A CN110097605B CN 110097605 B CN110097605 B CN 110097605B CN 201910367878 A CN201910367878 A CN 201910367878A CN 110097605 B CN110097605 B CN 110097605B
Authority
CN
China
Prior art keywords
point cloud
formula
point
plane
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910367878.1A
Other languages
English (en)
Other versions
CN110097605A (zh
Inventor
刘祺
元辉
王韦韦
刘昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910367878.1A priority Critical patent/CN110097605B/zh
Publication of CN110097605A publication Critical patent/CN110097605A/zh
Application granted granted Critical
Publication of CN110097605B publication Critical patent/CN110097605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于支持向量机的点云压缩编码器关键参数优化方法，首先，对点云的几何信息和颜色信息进行预处理；然后，提取点云的特征向量；对于给定的目标码率，利用全搜索的方法找到使得失真最小的最优的参数对，对训练集中的所有点云提取给定目标码率下的最优的标签，将最优标签信息和特征向量信息写入训练集，利用支持向量机以及训练集信息训练得到模型，利用模型对测试集里的特征向量信息进行测试，预测出连续域上最优的测试标签，得到测试集的最优的参数对。该方法利用点云的分布特征，使用支持向量机方法训练得到测试点云的最优的编码参数对，在保证给定编码比特率条件下编码器编码性能的同时大大减少了时间成本。

Description

一种基于支持向量机的点云压缩编码器关键参数优化方法
技术领域
本发明涉及基于支持向量机的三维点云压缩编码优化方法，属于图像处理技术领域。
背景技术
随着三维数据采集设备能力的提高，三维点云已经成为表达物体或者场景的一种有效方式。三维点云(点云数据)包括很多点的集合，即
Figure BDA0002048831190000011
来描述空间中物体，其中N表示点的总数量，pi表示第i个点，i∈{1，…N}，每个点通常由几何信息(即点的空间坐标x，y，z，坐标系原点通常设置为采集设备的中心点)和属性分量(通常包括该点的R、G、B三个色度属性，及颜色信息，以及反射率、法向量等)组成。三维点云在前沿应用领域中越来越流行，例如，增强现实，三维远程呈现和移动机器人等领域。然而，点云的广泛应用受到大数据量处理和网络传输带宽的限制，尤其是对于高质量的点云数据，包含高达百万点，带来了处理、存储和传输环节上的挑战。基于这个原因，开发有效的三维点云压缩及编码优化算法以适应现有的网络带宽和存储容量的课题，受到越来越多的关注。
点云压缩主要分为几何压缩和颜色属性压缩，现有的成熟且被广泛应用的点云压缩编码平台是基于点云库(Point Cloud Library，PCL)的点云压缩软件(Point CloudCompression，PCC)，即PCL-PCC点云压缩编码平台。此平台的压缩框架主要包含以下关键技术，如图1所示。
(1)几何压缩，根据点云的位置信息确定包围盒的大小，并将此包围盒作为根节点进行八叉树的分解，根据编码器中预先设定的八叉树层级分解参数Octree Level进行八叉树的迭代分解，如图2所示。最后对分解后的八叉树结构中每个子节点是否包含点的情况进行熵编码，进而实现几何信息的压缩。
(2)颜色属性压缩，八叉树分解完成后，基于深度优先的八叉树遍历原则，将点云的颜色信息映射到二维的JPEG图片网格中，然后使用已有的JPEG编码器，对颜色信息进行变换，根据预先设定的JPEG-Value值对变换后的系数进行量化和熵编码。
基于上述分析，PCL-PCC编码器预先设定的编码参数很大程度上决定了编码效率和重建后点云的质量，尤其是决定几何信息压缩效率的重要参数Octree Level和决定颜色属性信息压缩效率的重要参数JPEG_Value。然而，在现阶段这些编码参数的设定大都是靠经验给定，并没有切实有效的算法给出最优的编码参数对(Octree Level，JPEG_Value)。
实际应用中，现有的Octree Level的经验值范围为5～9，JPEG-Value的经验值范围为50～100，产生的可能的编码参数对(Octree Level，JPEG_Value)为255种组合，对于给定的编码比特数，使得失真最小的编码参数对(Octree Level，JPEG_Value)就是该点云压缩的最优编码参数对。上述问题可以转化为常见的回归问题，即从255种可能的编码参数对中预测出最优编码参数对。
机器学习中的支持向量机(SVM)是一种基于数理统计理论发展起来的统计学习理论，能够解决回归问题、局部最优值等问题。SVM的核心思想是寻找一个满足分类要求的最优分类超平面，该超平面在保证分类精度的同时，应使分类间隔最大化。SVM算法具有系统结构简单，全局最优，推广能力强和学习时间短等优点。然而在SVM解决回归问题时，目标特征的提取是该类算法的重要环节。结合点云的压缩过程发现，点云中的点的分布的特性很大程度上影响着几何和颜色信息的压缩性能。
发明内容
针对现有的PCL-PCC点云编码器中的编码参数的优化问题，本发明提供了一种基于支持向量机SVM的编码器参数优化方法，大大提高了点云的压缩性能。
本发明首次提出PCL-PCC编码器中基于支持向量机支持向量机对重要编码参数Octree Level和JPEG_Value的优化算法，该算法首先对点云的几何信息和颜色信息进行预处理，去除点云采集过程中引入的误差；然后提取点云的特征向量，为下一步的支持向量机的训练过程和测试过程提供特征向量信息；对于给定的目标码率，利用全搜索的方法找到使得失真最小的最优的参数对(Octree Level，JPEG_Value)，对训练集中的所有点云都提取给定目标码率下的最优的标签，将最优标签信息和特征向量信息写入训练集，利用支持向量机以及训练集信息训练得到模型，紧接着利用训练得到的模型对测试集里的特征向量信息进行测试，预测出连续域上最优的测试标签，再根据预测的标签以及标签索引与参数对的对应关系得到测试集的最优的参数对(Octree Level，JPEG_Value)。
本发明的技术方案为：
一种基于支持向量机的点云压缩编码器关键参数优化方法，包括步骤如下：
(1)点云数据预处理：
①对点云信息中的几何信息进行均一化预处理；
②对点云
Figure BDA0002048831190000021
中第i个点pi中的几何坐标信息(xi，yi，zi)进行均一化处理；i∈{1，2，...N}，N为点云中点的数量；
③对点云信息中的颜色信息进行RGB与YUV格式转化预处理；
④对步骤③预处理后的颜色信息进行进一步的均一化处理；
(2)点云分布特征提取：
⑤将点云
Figure BDA0002048831190000022
中的每个点的几何信息和颜色信息分别投射到X_Y平面，Y_Z平面和X_Z平面，分别得到三个投射点集，包括：
Figure BDA0002048831190000031
Figure BDA0002048831190000032
Nxy、Nyz、Nxz分别表示投射到X_Y平面，Y_Z平面和X_Z平面的点的数量；
⑥对于投射到X_Y平面的点集
Figure BDA0002048831190000033
分别求得两个坐标方向的位置坐标的均值
Figure BDA0002048831190000034
和方差
Figure BDA0002048831190000035
以及亮度信号的均值
Figure BDA0002048831190000036
和方差
Figure BDA0002048831190000037
作为点云分布在X_Y平面的特征向量
Figure BDA0002048831190000038
对于投射到Y_Z平面的点集
Figure BDA0002048831190000039
分别求得两个坐标方向的位置坐标的均值
Figure BDA00020488311900000310
和方差
Figure BDA00020488311900000311
以及亮度信号的均值
Figure BDA00020488311900000312
和方差
Figure BDA00020488311900000313
作为点云分布在Y_Z平面的特征向量
Figure BDA00020488311900000314
对于投射到X_Z平面的点集
Figure BDA00020488311900000315
分别求得两个坐标方向的位置坐标的均值
Figure BDA00020488311900000316
和方差
Figure BDA00020488311900000317
以及亮度信号的均值
Figure BDA00020488311900000318
和方差
Figure BDA00020488311900000319
作为点云分布在X_Z平面的特征向量
Figure BDA00020488311900000320
对于一个给定的点云数据，其特征向量定义为：
Figure BDA00020488311900000321
(3)SVM的训练预测：
⑦从M0个点云数据中，挑选出M1个点云数据作为训练集，剩余的M0-M1个点云数据作为测试集；
⑧对于训练集，对于给定的目标码率Rtarget，输入每个点云数据的特征向量f和标签Loptimal；
在给定目标码率Rtarget条件下，使用全搜索的方式找到最优的编码参数对(OctreeLevel，JPEG_Value)，Octree Level、JPEG_Value分别表示三维点云编码编码器中的八叉树层数和量化参数；并将最优的编码参数对(Octree Level，JPEG_Value)映射成对应的标签L(t，c)，t表示目标码率的值，c表示的点云的名字。
根据本发明优选的，步骤①，是指：读取点云
Figure BDA00020488311900000322
中所有点的几何信息(x，y，z)，计算出点云几何信息的最小值(xmin，ymin，zmin)和点云几何信息的最大值(xmax，ymax，zmax)。
根据本发明优选的，步骤②，对点云
Figure BDA00020488311900000323
中第i个点pi中的几何坐标信息(xi，yi，zi)进行均一化处理，如式(I)所示：
Figure BDA0002048831190000041
式(I)中，
Figure BDA0002048831190000042
表示均一化处理后第i个点
Figure BDA0002048831190000043
的几何坐标信息。
根据本发明优选的，步骤③，读取点云
Figure BDA0002048831190000044
中第i个点
Figure BDA0002048831190000045
的颜色信息(Ri，Gi，Bi)，将RGB格式转化为YUV格式，如式(II)所示：
Figure BDA0002048831190000046
式(II)中，Ri，Gi，Bi分别表示颜色信息的红色分量、绿色分量和蓝色分量，Yi，Ui，Vi分别表示亮度信号、蓝色色差信号和红色色差信号。
根据本发明优选的，步骤④，对得到的(Yi，Ui，Vi)信号进行进一步的均一化处理，如式(III)所示：
Figure BDA0002048831190000047
式(III)中，
Figure BDA0002048831190000048
表示均一化后的点
Figure BDA0002048831190000049
的颜色信息。
根据本发明优选的，投射到X_Y平面得到的点集
Figure BDA00020488311900000410
第i个投射点
Figure BDA00020488311900000411
Sxy，i表示投射到X_Y平面上的第i个点，求取公式如式(IV)、式(V)、式(VI)、式(VII)、式(VIII)所示：
Figure BDA00020488311900000412
Figure BDA00020488311900000413
Figure BDA00020488311900000414
Figure BDA00020488311900000415
Figure BDA00020488311900000416
式中，pxy_i表示点云
Figure BDA00020488311900000417
中投射到二维X_Y平面上位置
Figure BDA00020488311900000418
处的点的集合，n表示pxy_i集合中点的个数，当n＝1时，表示一对一的投射，当n＞1时，表示多对一的映射；
Figure BDA0002048831190000051
表示集合pxy_i中所有点的亮度信号的平均值，
Figure BDA0002048831190000052
表示集合pxy_i中所有点的红色色差信号的平均值；
Figure BDA0002048831190000053
表示集合pxy_i中所有点的蓝色色差信号的平均值；
投射到Y_Z平面得到的点集
Figure BDA0002048831190000054
第j个投射点
Figure BDA0002048831190000055
Syz，j表示投射到Y_Z平面上的第j个点，求取公式如式(IX)、式(X)、式(XI)、式(XII)、式(XIII)所示：
Figure BDA0002048831190000056
Figure BDA0002048831190000057
Figure BDA0002048831190000058
Figure BDA0002048831190000059
Figure BDA00020488311900000510
式中，pyz，j表示点云
Figure BDA00020488311900000511
中投射到二维Y_Z平面上位置
Figure BDA00020488311900000512
处的点的集合，n表示pyz，j集合中点的个数，当n＝1时，表示一对一的投射，当n＞1时，表示多对一的映射；
Figure BDA00020488311900000513
表示集合pyz，j中所有点的亮度信号的平均值，
Figure BDA00020488311900000514
表示集合pyz，j中所有点的红色色差信号的平均值；
Figure BDA00020488311900000515
表示集合pyz，j中所有点的蓝色色差信号的平均值；
投射到X_Z平面得到的点集
Figure BDA00020488311900000516
第k个投射点
Figure BDA00020488311900000517
Sxz，k表示投射到X_Z平面上的第k个点，求取公式如式(XIV)、式(XV)、式(XVI)、式(XVII)、式(XVIII)所示：
Figure BDA0002048831190000061
Figure BDA0002048831190000062
Figure BDA0002048831190000063
Figure BDA0002048831190000064
Figure BDA0002048831190000065
式中，pxz，k表示点云
Figure BDA0002048831190000066
中投射到二维X_Z平面上位置
Figure BDA0002048831190000067
处的点的集合，n表示pxz，k集合中点的个数，当n＝1时，表示一对一的投射，当n＞1时，表示多对一的映射；
Figure BDA0002048831190000068
表示集合pxz，k中所有点的亮度信号的平均值，
Figure BDA0002048831190000069
表示集合pxz，k中所有点的红色色差信号的平均值；
Figure BDA00020488311900000610
表示集合pxz，k中所有点的蓝色色差信号的平均值。
根据本发明优选的，步骤⑥，提取X_Y平面上点集
Figure BDA00020488311900000611
的分布特征向量
Figure BDA00020488311900000612
如式(XIX)、式(XX)、式(XXI)、式(XXII)、式(XXIII)、式(XXIV)所示：
Figure BDA00020488311900000613
Figure BDA00020488311900000614
Figure BDA00020488311900000615
Figure BDA00020488311900000616
Figure BDA00020488311900000617
Figure BDA00020488311900000618
式中，Nxy表示
Figure BDA00020488311900000619
中点的个数。
根据本发明优选的，步骤⑥，提取Y_Z平面上点集
Figure BDA00020488311900000620
的分布特征向量
Figure BDA00020488311900000621
如式(XXV)、式(XXVI)、式(XXVII)、式(XXVIII)、式(XXIX)、式(XXX)所示：
Figure BDA0002048831190000071
Figure BDA0002048831190000072
Figure BDA0002048831190000073
Figure BDA0002048831190000074
Figure BDA0002048831190000075
Figure BDA0002048831190000076
式中，Nyz表示
Figure BDA0002048831190000077
中点的个数。
根据本发明优选的，步骤⑥，提取X_Z平面上点集
Figure BDA0002048831190000078
的分布特征向量
Figure BDA0002048831190000079
如式(XXXI)、式(XXXII)、式(XXXIII)、式(XXXIV)、式(XXXV)、式(XXXVI)所示：
Figure BDA00020488311900000710
Figure BDA00020488311900000711
Figure BDA00020488311900000712
Figure BDA00020488311900000713
Figure BDA00020488311900000714
Figure BDA00020488311900000715
式中，Nxz表示
Figure BDA00020488311900000716
中点的个数。
根据本发明优选的，将最优的编码参数对(Octree Level，JPEG_Value)映射成对应的标签L(t，c)，包括步骤如下：
A、定义标签索引：L(t，c)＝(Octree Level-5)×51+(JPEG_Value-50)+1；
B、对每个点云使用255种可能的编码参数对对其进行编码，得到每一种编码参数对设置下，每个点云的编码比特数R(L，c)和失真D(L，c)值；
C、对于给定的Rtarget，遍历每个点云的255种编码参数对下所有的R(L，c)，找出小于Rtarget的所有参数对的集合Starget_search＝{j|Rj(L，c)≤Rtarget}，在集合Starget_search中找到唯一一个使得D(L，c)最小的编码参数对作为最优的编码参数对，并将其对应的标签索引；Loptimal作为该点云在Rtarget条件下的训练标签；
D、将M1点云的特征向量f与求得的训练标签Loptimal以(Loptimal，f)方式输入训练集：
Figure BDA0002048831190000081
训练得到SVM模型；
E、将剩余的M0-M1个点云的特征向量f，依次输入测试集：
Figure BDA0002048831190000082
采用训练后的SVM模型直接求出测试集中的点云在当前码率下对应的最优的标签，根据该标签的索引以及参数对与标签索引的关系，得到每个点云相应的最优的编码参数对(Octree Level，JPEG_Value)。
本发明的有益效果为：
1、本发明首次提出了针对编码器关键参数的优化算法，同时考虑到几何和属性信息的编码参数，并同时对其各自的编码参数进行优化设置，大大提高了目标码率下的重建点云的质量。
2、本发明提出的基于支持向量机的编码器参数优化算法，具有很强的泛化能力，并且能够根据训练集的扩大和优化而不断的自动进行模型的更新，更加准确的预测出测试集中的最优编码参数对。
附图说明
图1是现有PCL-PCC点云编码框架流程图；
图2是SVR框图；
图3是本发明基于支持向量机的编码器关键参数优化算法处理流程图；
图4(a)是点云Dimitris低码率效果对比图；
图4(b)是点云Longdress低码率效果对比图；
图4(c)是点云Sequence_56低码率效果对比图；
图4(d)是点云Egyptian_mask低码率效果对比图；
图4(e)是点云Dimitris高码率效果对比图；
图4(f)是点云Longdress高码率效果对比图；
图4(g)是点云Sequence_56高码率效果对比图；
图4(h)是点云Egyptian_mask高码率效果对比图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于支持向量机的点云压缩编码器关键参数优化方法，如图3所示，包括步骤如下：
(1)点云数据的预处理过程如下：
①对点云信息中的几何信息进行均一化预处理；是指：读取点云
Figure BDA0002048831190000091
中所有点的几何信息(x，y，z)，计算出点云几何信息的最小值(xmin，ymin，zmin)和点云几何信息的最大值(xmax，ymax，zmax)。
②对点云
Figure BDA0002048831190000092
和第i个点pi中的几何坐标信息(xi，yi，zi)进行均一化处理；i∈{1，2，...N}，N为点云中点的数量；如式(I)所示：
Figure BDA0002048831190000093
式(I)中，
Figure BDA0002048831190000094
表示均一化处理后第i个点pi的几何坐标信息。
③对点云信息中的颜色信息进行RGB与YUV格式转化预处理；读取点云
Figure BDA0002048831190000095
中第i个点pi的颜色信息(Ri，Gi，Bi)，将RGB格式转化为YUV格式，如式(II)所示：
Figure BDA0002048831190000096
式(II)中，Ri，Gi，Bi分别表示颜色信息的红色分量、绿色分量和蓝色分量，Yi，Ui，Vi分别表示亮度信号、蓝色色差信号和红色色差信号。
④对步骤③预处理后的颜色信息进行进一步的均一化处理；如式(III)所示：
Figure BDA0002048831190000101
式(III)中，
Figure BDA0002048831190000102
表示均一化后的点pi的颜色信息。
(2)点云分布特征提取：
⑤将点云
Figure BDA0002048831190000103
中的每个点的几何信息和颜色信息分别投射到X_Y平面，Y_Z平面和X_Z平面，分别得到三个投射点集，包括：
Figure BDA0002048831190000104
Figure BDA0002048831190000105
Nxy、Nyz、Nxz分别表示投射到X_Y平面，Y_Z平面和X_Z平面的点的数量；
⑥对于投射到X_Y平面的点集
Figure BDA0002048831190000106
分别求得两个坐标方向的位置坐标的均值
Figure BDA0002048831190000107
和方差
Figure BDA0002048831190000108
以及亮度信号的均值
Figure BDA0002048831190000109
和方差
Figure BDA00020488311900001010
作为点云分布在X_Y平面的特征向量
Figure BDA00020488311900001011
对于投射到Y_Z平面的点集
Figure BDA00020488311900001012
分别求得两个坐标方向的位置坐标的均值
Figure BDA00020488311900001013
和方差
Figure BDA00020488311900001014
以及亮度信号的均值
Figure BDA00020488311900001015
和方差
Figure BDA00020488311900001016
作为点云分布在Y_Z平面的特征向量
Figure BDA00020488311900001017
对于投射到X_Z平面的点集
Figure BDA00020488311900001018
分别求得两个坐标方向的位置坐标的均值
Figure BDA00020488311900001019
和方差
Figure BDA00020488311900001020
以及亮度信号的均值
Figure BDA00020488311900001021
和方差
Figure BDA00020488311900001022
作为点云分布在X_Z平面的特征向量
Figure BDA00020488311900001023
对于一个给定的点云数据，其特征向量定义为：
Figure BDA00020488311900001024
(3)SVM的训练预测：
⑦从M0个点云数据中，M0＝30，挑选出M1个点云数据作为训练集，M1＝26，剩余的4个点云数据作为测试集；
⑧对于训练集，对于给定的目标码率Rtarget，输入每个点云数据的特征向量f和标签Loptimal；
在给定目标码率Rtarget条件下，使用全搜索的方式找到最优的编码参数对(OctreeLevel，JPEG_Value)，Octree Level、JPEG_Value分别表示三维点云编码编码器中的八叉树层数和量化参数；并将最优的编码参数对(Octree Level，JPEG_Value)映射成对应的标签L(t，c)，t表示目标码率的值，c表示的点云的名字。
实施例2
根据实施例1所述的一种基于支持向量机的点云压缩编码器关键参数优化方法，其区别在于：
步骤⑤中，投射到X_Y平面得到的点集
Figure BDA0002048831190000111
第i个投射点
Figure BDA0002048831190000112
Sxy，i表示投射到X_Y平面上的第i个点，求取公式如式(IV)、式(V)、式(VI)、式(VII)、式(VIII)所示：
Figure BDA0002048831190000113
Figure BDA0002048831190000114
Figure BDA0002048831190000115
Figure BDA0002048831190000116
Figure BDA0002048831190000117
式中，pxy_i表示点云
Figure BDA0002048831190000118
中投射到二维X_Y平面上位置
Figure BDA0002048831190000119
处的点的集合，n表示pxy_i集合中点的个数，当n＝1时，表示一对一的投射，当n＞1时，表示多对一的映射；
Figure BDA00020488311900001110
表示集合pxy_i中所有点的亮度信号的平均值，
Figure BDA00020488311900001111
表示集合pxy_i中所有点的红色色差信号的平均值；
Figure BDA00020488311900001112
表示集合pxy_i中所有点的蓝色色差信号的平均值；
步骤⑤中，投射到Y_Z平面得到的点集
Figure BDA00020488311900001113
第j个投射点
Figure BDA00020488311900001114
Syz，j表示投射到Y_Z平面上的第j个点，求取公式如式(IX)、式(X)、式(XI)、式(XII)、式(XIII)所示：
Figure BDA0002048831190000121
Figure BDA0002048831190000122
Figure BDA0002048831190000123
Figure BDA0002048831190000124
Figure BDA0002048831190000125
式中，pyz，j表示点云
Figure BDA0002048831190000126
中投射到二维Y_Z平面上位置
Figure BDA0002048831190000127
处的点的集合，n表示pyz，j集合中点的个数，当n＝1时，表示一对一的投射，当n＞1时，表示多对一的映射；
Figure BDA0002048831190000128
表示集合pyz，j中所有点的亮度信号的平均值，
Figure BDA0002048831190000129
表示集合pyz，j中所有点的红色色差信号的平均值；
Figure BDA00020488311900001210
表示集合pyz，j中所有点的蓝色色差信号的平均值；
步骤⑤中，投射到X_Z平面得到的点集
Figure BDA00020488311900001211
第k个投射点
Figure BDA00020488311900001212
Figure BDA00020488311900001213
Sxz，k表示投射到X_Z平面上的第k个点，求取公式如式(XIV)、式(XV)、式(XVI)、式(XVII)、式(XVIII)所示：
Figure BDA00020488311900001214
Figure BDA00020488311900001215
Figure BDA00020488311900001216
Figure BDA00020488311900001217
Figure BDA00020488311900001218
式中，pxz，k表示点云
Figure BDA00020488311900001219
中投射到二维X_Z平面上位置
Figure BDA00020488311900001220
处的点的集合，n表示pxz，k集合中点的个数，当n＝1时，表示一对一的投射，当n＞1时，表示多对一的映射；
Figure BDA00020488311900001221
表示集合pxz，k中所有点的亮度信号的平均值，
Figure BDA00020488311900001222
表示集合pxz，k中所有点的红色色差信号的平均值；
Figure BDA00020488311900001223
表示集合pxz，k中所有点的蓝色色差信号的平均值。
实施例3
根据实施例1所述的一种基于支持向量机的点云压缩编码器关键参数优化方法，其区别在于：
步骤⑥，提取X_Y平面上点集
Figure BDA0002048831190000131
的分布特征向量
Figure BDA0002048831190000132
如式(XIX)、式(XX)、式(XXI)、式(XXII)、式(XXIII)、式(XXIV)所示：
Figure BDA0002048831190000133
Figure BDA0002048831190000134
Figure BDA0002048831190000135
Figure BDA0002048831190000136
Figure BDA0002048831190000137
Figure BDA0002048831190000138
式中，Nxy表示
Figure BDA0002048831190000139
中点的个数。
步骤⑥，提取Y_Z平面上点集
Figure BDA00020488311900001310
的分布特征向量
Figure BDA00020488311900001311
如式(XXV)、式(XXVI)、式(XXVII)、式(XXVIII)、式(XXIX)、式(XXX)所示：
Figure BDA00020488311900001312
Figure BDA00020488311900001313
Figure BDA00020488311900001314
Figure BDA00020488311900001315
Figure BDA00020488311900001316
Figure BDA00020488311900001317
式中，Nyz表示
Figure BDA00020488311900001318
中点的个数。
步骤⑥，提取X_Z平面上点集
Figure BDA0002048831190000141
的分布特征向量
Figure BDA0002048831190000142
如式(XXXI)、式(XXXII)、式(XXXIII)、式(XXXIV)、式(XXXV)、式(XXXVI)所示：
Figure BDA0002048831190000143
Figure BDA0002048831190000144
Figure BDA0002048831190000145
Figure BDA0002048831190000146
Figure BDA0002048831190000147
Figure BDA0002048831190000148
式中，Nxz表示
Figure BDA0002048831190000149
中点的个数。
实施例4
根据实施例1所述的一种基于支持向量机的点云压缩编码器关键参数优化方法，其区别在于：
将最优的编码参数对(Octree Level，JPEG_Value)映射成对应的标签L(t，c)，包括步骤如下：
A、定义标签索引：L(t，c)＝(Octree Level-5)×51+(JPEG_Value-50)+1；
B、对每个点云使用255种可能的编码参数对对其进行编码，得到每一种编码参数对设置下，每个点云的编码比特数R(L，c)和失真D(L，c)值；
C、对于给定的Rtarget，遍历每个点云的255种编码参数对下所有的R(L，c)，找出小于Rtarget的所有参数对的集合Starget_search＝{j|Rj(L，c)≤Rtarget}，在集合Starget_search中找到唯一一个使得D(L，c)最小的编码参数对做为最优的编码参数对，并将其对应的标签索引；Loptimal作为该点云在Rtarget条件下的训练标签；
D、将26个点云的特征向量f与求得的训练标签Loptimal以(Loptimal，f)方式输入训练集：
Figure BDA0002048831190000151
训练得到SVM模型；
E、将剩余的4个点云的特征向量f，依次输入测试集：
Figure BDA0002048831190000152
采用训练后的SVM模型直接求出测试集中的点云在当前码率下对应的最优的标签，根据该标签的索引以及参数对与标签索引的关系，得到每个点云相应的最优的编码参数对(Octree Level，JPEG_Value)。
本实施例的效果可以通过实验进一步说明。图4(a)是点云Dimitris低码率效果对比图；图4(b)是点云Longdress低码率效果对比图；图4(c)是点云Sequence_56低码率效果对比图；图4(d)是点云Egyptian_mask低码率效果对比图；图4(e)是点云Dimitris高码率效果对比图；图4(f)是点云Longdress高码率效果对比图；图4(g)是点云Sequence_56高码率效果对比图；图4(h)是点云Egyptian_mask高码率效果对比图；测试的点云中，点的数量变化范围较大，因此，编码每个点云使用的码率变化范围也很大，因此，本实施例中使用编码每个点的比特数作为目标码率(bpp)的计量方式。图4(a)-图4(h)中，横坐标表示的给定的不同的目标码率，纵坐标表示的是在给定的目标码率下选择的最优的编码参数对所对应的编码PSNR，即R-PSNR曲线。图4(a)-图4(d)表示的是低目标码率情况下，本发明与全搜索的对比结果；低码率的情况是bpp＝1.6，2.2，2.8，3.4；图4(e)-图4(h)表示的是高码率情况下，本发明与全搜索的对比结果，高码率的情况是bpp＝3.5，4.6，6，7.7。由图4(a)-图4(h)可知，本发明在不同的目标码率下，预测得到的R-PSNR非常接近全搜索的结果，甚至可以与全搜索结果完全相同，而本发明仅需要3次预编码，效率远远高于使用255次编码的全搜索方法。

Claims (10)

1.一种基于支持向量机的点云压缩编码器关键参数优化方法，其特征在于，包括步骤如下：
(1)点云数据预处理：
①对点云信息中的几何信息进行均一化预处理；
②对点云
Figure FDA0003518469210000011
中第i个点pi中的几何坐标信息(xi,yi,zi)进行均一化处理；i∈{1,2,…N},N为点云中点的数量；
③对点云信息中的颜色信息进行RGB与YUV格式转化预处理；
④对步骤③预处理后的颜色信息进行进一步的均一化处理；
(2)点云分布特征提取：
⑤将点云
Figure FDA0003518469210000012
中的每个点的几何信息和颜色信息分别投射到X_Y平面，Y_Z平面和X_Z平面，分别得到三个投射点集，包括：
Figure FDA0003518469210000013
Figure FDA0003518469210000014
Nxy、Nyz、Nxz分别表示投射到X_Y平面，Y_Z平面和X_Z平面的点的数量；
⑥对于投射到X_Y平面的点集
Figure FDA0003518469210000015
分别求得两个坐标方向的位置坐标的均值
Figure FDA0003518469210000016
和方差
Figure FDA0003518469210000017
以及亮度信号的均值
Figure FDA0003518469210000018
和方差
Figure FDA0003518469210000019
作为点云分布在X_Y平面的特征向量
Figure FDA00035184692100000110
对于投射到Y_Z平面的点集
Figure FDA00035184692100000111
分别求得两个坐标方向的位置坐标的均值
Figure FDA00035184692100000112
和方差
Figure FDA00035184692100000113
以及亮度信号的均值
Figure FDA00035184692100000114
和方差
Figure FDA00035184692100000115
作为点云分布在Y_Z平面的特征向量
Figure FDA00035184692100000116
对于投射到X_Z平面的点集
Figure FDA00035184692100000117
分别求得两个坐标方向的位置坐标的均值
Figure FDA00035184692100000118
和方差
Figure FDA00035184692100000119
以及亮度信号的均值
Figure FDA00035184692100000120
和方差
Figure FDA00035184692100000121
作为点云分布在X_Z平面的特征向量
Figure FDA00035184692100000122
对于一个给定的点云数据，其特征向量定义为：
Figure FDA00035184692100000123
(3)SVM的训练预测：
⑦从M0个点云数据中，挑选出M1个点云数据作为训练集，剩余的M0-M1个点云数据作为测试集；
⑧对于训练集，对于给定的目标码率Rtarget，输入每个点云数据的特征向量f和标签Loptimal；
在给定目标码率Rtarget条件下，使用全搜索的方式找到最优的编码参数对(OctreeLevel,JPEG_Value)，Octree Level、JPEG_Value分别表示三维点云编码器中的八叉树层数和量化参数；并将最优的编码参数对(Octree Level,JPEG_Value)映射成对应的标签L(t,c)，t表示目标码率的值，c表示的点云的名字。
2.根据权利要求1所述的一种基于支持向量机的点云压缩编码器关键参数优化方法，其特征在于，步骤①，是指：读取点云
Figure FDA0003518469210000021
中所有点的几何信息(x,y,z)，计算出点云几何信息的最小值(xmin,ymin,zmin)和点云几何信息的最大值(xmax,ymax,zmax)。
3.根据权利要求2所述的一种基于支持向量机的点云压缩编码器关键参数优化方法，其特征在于，步骤②，对点云
Figure FDA0003518469210000022
中第i个点pi中的几何坐标信息(xi,yi,zi)进行均一化处理，如式(Ⅰ)所示：
Figure FDA0003518469210000023
式(Ⅰ)中，
Figure FDA0003518469210000024
表示均一化处理后第i个点pi的几何坐标信息。
4.根据权利要求3所述的一种基于支持向量机的点云压缩编码器关键参数优化方法，其特征在于，步骤③，读取点云
Figure FDA0003518469210000025
中第i个点pi的颜色信息(Ri,Gi,Bi),将RGB格式转化为YUV格式，如式(Ⅱ)所示：
Figure FDA0003518469210000026
式(Ⅱ)中，Ri,Gi,Bi分别表示颜色信息的红色分量、绿色分量和蓝色分量，Yi,Ui,Vi分别表示亮度信号、蓝色色差信号和红色色差信号。
5.根据权利要求4所述的一种基于支持向量机的点云压缩编码器关键参数优化方法，其特征在于，步骤④，对得到的(Yi,Ui,Vi)信号进行进一步的均一化处理，如式(Ⅲ)所示：
Figure FDA0003518469210000031
式(Ⅲ)中，
Figure FDA0003518469210000032
表示均一化后的点pi的颜色信息。
6.根据权利要求5所述的一种基于支持向量机的点云压缩编码器关键参数优化方法，其特征在于，步骤⑤中，投射到X_Y平面得到的点集
Figure FDA0003518469210000033
第i个投射点
Figure FDA0003518469210000034
Sxy,i表示投射到X_Y平面上的第i个点，求取公式如式(Ⅳ)、式(Ⅴ)、式(Ⅵ)、式(Ⅶ)、式(VIII)所示：
Figure FDA0003518469210000035
Figure FDA0003518469210000036
Figure FDA0003518469210000037
Figure FDA0003518469210000038
Figure FDA0003518469210000039
式中，pxy_i表示点云
Figure FDA00035184692100000310
中投射到二维X_Y平面上位置
Figure FDA00035184692100000311
处的点的集合，n表示pxy_i集合中点的个数，当n＝1时，表示一对一的投射，当n>1时，表示多对一的映射；
Figure FDA00035184692100000312
表示集合pxy_i中所有点的亮度信号的平均值，
Figure FDA00035184692100000313
表示集合pxy_i中所有点的红色色差信号的平均值；
Figure FDA00035184692100000314
表示集合pxy_i中所有点的蓝色色差信号的平均值；
投射到Y_Z平面得到的点集
Figure FDA00035184692100000315
第j个投射点
Figure FDA00035184692100000316
Syz,j表示投射到Y_Z平面上的第j个点，求取公式如式(Ⅸ)、式(X)、式(XI)、式(Ⅻ)、式(XIII)所示：
Figure FDA0003518469210000041
Figure FDA0003518469210000042
Figure FDA0003518469210000043
Figure FDA0003518469210000044
Figure FDA0003518469210000045
式中，pyz,j表示点云
Figure FDA0003518469210000046
中投射到二维Y_Z平面上位置
Figure FDA0003518469210000047
处的点的集合，n表示pyz,j集合中点的个数，当n＝1时，表示一对一的投射，当n>1时，表示多对一的映射；
Figure FDA0003518469210000048
表示集合pyz,j中所有点的亮度信号的平均值，
Figure FDA0003518469210000049
表示集合pyz,j中所有点的红色色差信号的平均值；
Figure FDA00035184692100000410
表示集合pyz,j中所有点的蓝色色差信号的平均值；
投射到X_Z平面得到的点集
Figure FDA00035184692100000411
第k个投射点
Figure FDA00035184692100000412
Sxz,k表示投射到X_Z平面上的第k个点，求取公式如式(XIV)、式(XV)、式(XVI)、式(XVII)、式(XVIII)所示：
Figure FDA00035184692100000413
Figure FDA00035184692100000414
Figure FDA00035184692100000415
Figure FDA00035184692100000416
Figure FDA00035184692100000417
式中，pxz,k表示点云
Figure FDA00035184692100000418
中投射到二维X_Z平面上位置
Figure FDA00035184692100000419
处的点的集合，n表示pxz,k集合中点的个数，当n＝1时，表示一对一的投射，当n>1时，表示多对一的映射；
Figure FDA00035184692100000420
表示集合pxz,k中所有点的亮度信号的平均值，
Figure FDA00035184692100000421
表示集合pxz,k中所有点的红色色差信号的平均值；
Figure FDA00035184692100000422
表示集合pxz,k中所有点的蓝色色差信号的平均值。
7.根据权利要求6所述的一种基于支持向量机的点云压缩编码器关键参数优化方法，其特征在于，步骤⑥，提取X_Y平面上点集
Figure FDA00035184692100000423
的分布特征向量
Figure FDA0003518469210000051
如式(XIX)、式(XX)、式(XXI)、式(XXII)、式(XXIII)、式(XXIV)所示：
Figure FDA0003518469210000052
Figure FDA0003518469210000053
Figure FDA0003518469210000054
Figure FDA0003518469210000055
Figure FDA0003518469210000056
Figure FDA0003518469210000057
式中，Nxy表示
Figure FDA0003518469210000058
中点的个数。
8.根据权利要求6所述的一种基于支持向量机的点云压缩编码器关键参数优化方法，其特征在于，步骤⑥，提取Y_Z平面上点集
Figure FDA0003518469210000059
的分布特征向量
Figure FDA00035184692100000510
如式(XXV)、式(XXVI)、式(XXVII)、式(XXVIII)、式(XXIX)、式(XXX)所示：
Figure FDA00035184692100000511
Figure FDA00035184692100000512
Figure FDA00035184692100000513
Figure FDA00035184692100000514
Figure FDA00035184692100000515
Figure FDA00035184692100000516
式中，Nyz表示
Figure FDA00035184692100000517
中点的个数。
9.根据权利要求6所述的一种基于支持向量机的点云压缩编码器关键参数优化方法，其特征在于，步骤⑥，提取X_Z平面上点集
Figure FDA0003518469210000061
的分布特征向量
Figure FDA0003518469210000062
如式(XXXI)、式(XXXII)、式(XXXIII)、式(XXXIV)、式(XXXV)、式(XXXVI)所示：
Figure FDA0003518469210000063
Figure FDA0003518469210000064
Figure FDA0003518469210000065
Figure FDA0003518469210000066
Figure FDA0003518469210000067
Figure FDA0003518469210000068
式中，Nxz表示
Figure FDA0003518469210000069
中点的个数。
10.根据权利要求1所述的一种基于支持向量机的点云压缩编码器关键参数优化方法，其特征在于，将最优的编码参数对(Octree Level,JPEG_Value)映射成对应的标签L(t,c)，包括步骤如下：
A、定义标签索引：L(t,c)＝(Octree Level-5)×51+(JPEG_Value-50)+1；
B、对每个点云使用255种可能的编码参数对对其进行编码，得到每一种编码参数对设置下，每个点云的编码比特数R(L,c)和失真值D(L,c)；
C、对于给定的Rtarget,遍历每个点云的255种编码参数对下所有的R(L,c)，找出小于Rtarget的所有参数对的集合Starget_search＝{j|Rj(L,c)≤Rtarget}，在集合Starget_search中找到唯一一个使得D(L,c)最小的编码参数对作为最优的编码参数对，并将其对应的标签索引；Loptimal作为该点云在Rtarget条件下的训练标签；
D、将M1点云的特征向量f与求得的训练标签Loptimal以(Loptimal,f)方式输入训练集：
Figure FDA0003518469210000071
训练得到SVM模型；
E、将剩余的M0-M1个点云的特征向量f，依次输入测试集：
Figure FDA0003518469210000072
采用训练后的SVM模型直接求出测试集中的点云在当前码率下对应的最优的标签，根据该标签的索引以及参数对与标签索引的关系，得到每个点云相应的最优的编码参数对(Octree Level,JPEG_Value)。
CN201910367878.1A 2019-05-05 2019-05-05 一种基于支持向量机的点云压缩编码器关键参数优化方法 Active CN110097605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910367878.1A CN110097605B (zh) 2019-05-05 2019-05-05 一种基于支持向量机的点云压缩编码器关键参数优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910367878.1A CN110097605B (zh) 2019-05-05 2019-05-05 一种基于支持向量机的点云压缩编码器关键参数优化方法

Publications (2)

Publication Number Publication Date
CN110097605A CN110097605A (zh) 2019-08-06
CN110097605B true CN110097605B (zh) 2022-05-27

Family

ID=67446811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910367878.1A Active CN110097605B (zh) 2019-05-05 2019-05-05 一种基于支持向量机的点云压缩编码器关键参数优化方法

Country Status (1)

Country Link
CN (1) CN110097605B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4040683A4 (en) 2019-09-30 2022-11-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. OCCUPANCY INFORMATION PREDICTION METHOD, ENCODER, DECODER AND STORAGE MEDIA
CN116016917A (zh) * 2020-06-05 2023-04-25 Oppo广东移动通信有限公司 点云压缩方法、编码器、解码器及存储介质
CN112578356B (zh) * 2020-12-25 2024-05-17 上海商汤临港智能科技有限公司 一种外参标定方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
CN109345619A (zh) * 2018-08-10 2019-02-15 华北电力大学（保定） 基于类八叉树编码的海量点云空间管理方法
CN110870318A (zh) * 2017-07-13 2020-03-06 交互数字Vc控股公司 一种用于对表示3d物体的几何形状和颜色的彩色点云进行编码/解码的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110870318A (zh) * 2017-07-13 2020-03-06 交互数字Vc控股公司 一种用于对表示3d物体的几何形状和颜色的彩色点云进行编码/解码的方法和装置
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
WO2019019680A1 (zh) * 2017-07-28 2019-01-31 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
CN109345619A (zh) * 2018-08-10 2019-02-15 华北电力大学（保定） 基于类八叉树编码的海量点云空间管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Compression Algorithm of Scattered Point Cloud Based on Octree Coding;Tang L et.al;《2nd IEEE International Conference on Computer and Communications (ICCC)》;20161231;第85-89页 *

Also Published As

Publication number Publication date
CN110097605A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
Liu et al. Point cloud quality assessment: Dataset construction and learning-based no-reference metric
CN110097605B (zh) 一种基于支持向量机的点云压缩编码器关键参数优化方法
US11494948B2 (en) Point cloud geometric compression method based on depth auto-encoder
Wang et al. Towards analysis-friendly face representation with scalable feature and texture compression
CN106960176B (zh) 一种基于超限学习机和颜色特征融合的行人性别识别方法
CN113255830A (zh) 基于变分自编码器与高斯混合模型的无监督目标检测方法及系统
CN109166160B (zh) 一种采用图形预测的三维点云压缩方法
CN116205962B (zh) 基于完整上下文信息的单目深度估计方法及系统
CN111008979A (zh) 一种鲁棒的夜晚图像语义分割方法
CN112242002A (zh) 基于深度学习的物体识别和全景漫游方法
CN115618051A (zh) 一种基于互联网的智慧校园监控视频存储方法
Zhang et al. Perceptual quality assessment for digital human heads
Chen et al. Pixel-level texture segmentation based AV1 video compression
Wei et al. Enhanced intra prediction scheme in point cloud attribute compression
WO2022226850A1 (zh) 点云质量增强方法、编码和解码方法及装置、存储介质
CN114915793B (zh) 基于二维规则化平面投影的点云编解码方法及装置
WO2022067776A1 (zh) 点云的解码、编码方法、解码器、编码器和编解码系统
CN109714602B (zh) 一种基于背景模板和稀疏编码的无人机视频压缩方法
CN112509107A (zh) 一种点云属性重着色方法、装置及编码器
CN112418344A (zh) 一种训练方法、目标检测方法、介质及电子设备
WO2020168526A1 (zh) 图像编码方法、设备及计算机可读存储介质
Luo et al. Super-High-Fidelity Image Compression via Hierarchical-ROI and Adaptive Quantization
CN111311752B (zh) 一种基于映射图的LiDAR数据随机采样及重构方法
CN108491876B (zh) 基于二次拟合光度变换的群体图像编码方法
CN117373100B (zh) 基于差分量化局部二值模式的人脸识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220507

Address after: No. 27, mountain Dana Road, Ji'nan City, Shandong, Shandong

Applicant after: SHANDONG University

Address before: 518057 A301, Virtual University Park, 19 Gaoxin South 4th Road, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN RESEARCH INSTITUTE OF SHANDONG University

GR01 Patent grant
GR01 Patent grant