CN108335335B - 一种基于增强图变换的点云属性压缩方法 - Google Patents

一种基于增强图变换的点云属性压缩方法 Download PDF

Info

Publication number
CN108335335B
CN108335335B CN201810142763.8A CN201810142763A CN108335335B CN 108335335 B CN108335335 B CN 108335335B CN 201810142763 A CN201810142763 A CN 201810142763A CN 108335335 B CN108335335 B CN 108335335B
Authority
CN
China
Prior art keywords
transformation
cloud
point
matrix
enhancing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810142763.8A
Other languages
English (en)
Other versions
CN108335335A (zh
Inventor
李革
邵薏婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201810142763.8A priority Critical patent/CN108335335B/zh
Priority to US16/957,187 priority patent/US11126887B2/en
Priority to PCT/CN2018/076495 priority patent/WO2019153342A1/zh
Publication of CN108335335A publication Critical patent/CN108335335A/zh
Application granted granted Critical
Publication of CN108335335B publication Critical patent/CN108335335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/4031—Fixed length to variable length coding
    • H03M7/4037—Prefix coding
    • H03M7/4043—Adaptive prefix coding
    • H03M7/405—Tree adaptation
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70—Type of the data to be coded, other than image and sound

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Discrete Mathematics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Abstract

本发明公布了一种基于增强图变换的点云属性压缩方法，针对点云属性信息，使用K‑dimension(KD)树对点云先进行空域划分，提出一种新的结合频谱分析的图变换处理方法，在点云编码块内的图上对点云再进行频谱聚类，在现有图变换基础上拓展实现局部图变换方案，形成具有两种变换模式的增强图变换，提高图变换的压缩性能；包括：点云属性的颜色空间转换；采用K‑dimension(KD)树划分点云得到编码块；基于频谱聚类的增强图变换；变换模式决策；均匀量化和熵编码。本发明提出一种新的基于频谱分析的增强图变换方案，其中包括两种变换模式，由模式决策选出最佳模式；对点云进行树划分后，在各个编码块内均构建一张图并使用图变换作为变换模式一，在此基础上实现图频聚类，把图划分成两张局部图再进行局部图变换作为变换模式二，支持两种变换模式的增强图变换方案由模式决策选择出最佳模式，以达到点云属性压缩的最佳性能。

Description

一种基于增强图变换的点云属性压缩方法
技术领域
本发明属于点云数据处理技术领域，涉及点云数据压缩方法，尤其涉及一种基于增强图变换的点云属性压缩的方法。
背景技术
三维点云是一种表达现实世界三维结构的有效形式。随着三维扫描设备(激光、雷达等)的快速发展，点云的精度、分辨率更高，使得高效率、高精度地将现实世界的三维信息数字化变成可能。高精度点云广泛应用于智慧城市、无人驾驶、文物保护等众多热门领域。点云是三维扫描设备对物体表面采样所获取的，一帧点云的点数一般是百万级别，其中每个点包含几何信息和颜色、纹理等属性信息，数据量十分庞大。三维点云庞大的数据量给数据存储、传输等带来巨大挑战，所以点云压缩十分必要。
点云压缩主要分为几何压缩和属性压缩，现有的点云属性压缩框架主要包括以下几种：
一、基于八叉树分解和DCT的方法：该方法先用八叉树对点云进行空间分解得到编码块，然后对树进行深度优先遍历，将遍历的结点颜色值按照蛇形的顺序写入二维的JPEG表，再利用现有的JPEG编码器对获得的点云颜色表进行编码，其中JPEG编码器使用的是DCT。该方法利用现有的编码器，计算复杂度低，但并未充分利用点与点之间的空间相关性，在压缩性能上有待提高；
二、基于八叉树分解和图变换的方法：该方法先用八叉树对点云进行空间分解，划分到特定层次得到变换块；在每个变换块内形成图，将沿着任意坐标轴的距离不超过1的两点用一条边连接起来，边的权重与欧氏距离成反比；再对图中结点的属性信息进行图变换。该方法的压缩性能佳；但运算复杂度较高，其构图方式可能会带来子图问题，影响图变换的效率，仍有改善的空间；
三、基于KD树分解和图变换的方法：该方法先用KD树对点云进行空间分解，划分到一定深度得到变换块，其中每个变换块内所包含的点数大致相同：在变换块内，每两点用一条边连接起来，边的权重与欧氏距离有关，设定的边欧式距离阈值决定图的稀疏度；然后再对图内点的属性信息进行图变换。该方法彻底解决了子图问题，同时在压缩性能方面较前两种方法都有较大的提升，但运算复杂度较高，性能仍待改善。
发明内容
为了克服上述现有技术的不足，进一步改善点云属性的压缩性能，本发明提供一种基于增强图变换的点云属性压缩的方法，先使用K-dimension(KD)树对点云进行空域划分，后使用基于频谱分析的图变换处理对编码块内的图进行频谱聚类，在现有图变换基础上拓展实现局部图变换方案，形成具有两种变换模式的增强图变换，提高图变换的压缩性能。
本发明提供的技术方案是：
一种基于增强图变换的点云属性压缩方法，针对点云数据，先使用KD树对点云空域划分得到编码块，提出一种新的结合频谱分析的图变换处理方法，在点云编码块内的图上对点云再进行频谱聚类，在现有图变换基础上拓展实现局部图变换方案，形成具有两种变换模式的增强图变换，由模式决策选择出最佳模式，以达到属性压缩的最佳性能；包括如下步骤：
1)点云属性的颜色空间转换：读入待处理的点云属性信息，考虑人眼的视觉特性和压缩处理的难易程度，将点云颜色空间从RGB空间转换到YUV空间；
2)采用KD树划分点云得到编码块：根据几何信息对点云进行KD树划分，每次选择点云位置坐标中分布方差最大的坐标轴作为划分轴，选取坐标大小是中位值的点作为划分点，迭代划分直至达到设定的KD树深度；KD树划分的最后一层所得到的块即为点云的编码块，按照广度遍历的顺序对编码块进行编号；
3)基于频谱聚类的增强图变换：根据编码块的编号顺序依次对编码块进行变换处理，在现有图变换基础上扩展图的频谱聚类构成增强图变换，共提供两种变换模式；在编码块内，每两个点ni、nj之间用边εij连接起来构建一张全点图G，其中边的权重由两点的几何位置决定；边εij的权重大小ωij反映ni、nj两点之间的几何相关性，权重ω构成图的邻近矩阵W，进一步得到特征向量矩阵A；
变换模式一：将该特征向量A作为图的变换矩阵，对编码块的颜色信息进行变换；
变换模式二：图G的特征向量矩阵A，反映的是图的频谱分布；使用矩阵A的第二维列向量的正负号将块内所有点聚成两类，如两类点的数量均达到块内点总数的40％以上，则根据聚类情况将图G划分成两张局部图G1、G2，再分别得到对应的特征向量矩阵A1、A2；对两张局部图G1、G2中的点的颜色信息，使用对应的变换矩阵进行变换；
4)变换模式决策：对编码块的颜色信息进行变换有两种模式，需要估计变换的性能来进行模式决策，选出最佳的变换模式；计算变换后系数中前k个最大系数绝对值之和在变换系数绝对值总和中所占的比例，作为变换模式的分数；分数越高，代表选定的变换系数在变换系数总和中所占比例越高，代表该模式的变换效率越高，性能越好，具有最大分数的模式将被选择为当前块的变换模式；
5)点云属性压缩码流的生成：按照顺序迭代处理所有编码块，对变换后系数进行量化，结合变换模式信息进行熵编码，得到点云属性压缩的最终码流；
上述步骤1)所述的颜色空间转换，其具体过程如下：
(1-1)点云中的点pi具有RGB颜色空间的颜色值为ri、gi、bi，通过颜色空间转换矩阵将RGB转换到YUV颜色空间，颜色值为yi、ui、vi；
(1-2)颜色空间转换的数学表达式为:
上述步骤2)所述的编码块的划分和编号，其具体过程如下：KD树划分时，选择点的分布方差最大的坐标轴作为划分轴，充分考虑了变换块内各点的相关性；同时把划分轴上坐标是中位值的点作为划分点，使变换块内点的数量基本相同。设待处理的点云共有N个点，KD树设定的划分深度为d，经过对点云d次划分后，得到2d个编码块；对所有的编码块按照广度遍历的顺序进行编号
上述步骤3)中所述的增强图变换，其具体过程如下：
(3-1)在每个变换块内构建一张图G，每两点ni、nj之间用一条边εij连接，边εij的权重大小ωij与两点之间的欧氏距离相关，常表现为式2：
其中，参数σ反映了当前点云分布的方差；参数τ是判定两点之间是否连线的距离阈值，决定图拉普拉斯矩阵的稀疏度，一般使用经验设定值；
(3-2)图G的邻近矩阵W是边权重ωij的集合，反映变换块内各点之间的相关性；图G的密度矩阵D是一个对角矩阵，其中Di是邻近矩阵第i行中非零元素的和，表示为式3，反映了第i个点与其他点相关性的密度；图G的变换算子采用拉普拉斯矩阵L，表示为式4：
Di＝∑jωi,j (式3)
L＝D-W (式4)
(3-3)对拉普拉斯矩阵L进行特征分解，得到特征向量矩阵A，作为变换模式一的全局图变换矩阵，用于对点云的属性信息的压缩，表示为式5：
L＝AΛA-1 (式5)
(3-4)对特征向量矩阵A的第二维列向量V2进行频谱聚类，根据向量的参数值pi的正负号将点聚成两类C1、C2，表示为式6；根据聚类情况将全局图G划分成两张局部图G1、G2，由对应的点n和边ε构成，表示为式7：
其中式6中，count(C1)是计算C1中的点的数量，count(C2)是计算C2中的点的数量，count(block)是计算当前编码块内点的总数。
(3-5)对两张局部图G1、G2分别进行特征分解，得到变换矩阵A1、A2，作为变换模式二的局部图变换矩阵，用于对应图中点的颜色信息的变换；
(3-6)两种变换模式的图变换构成了增强图变换方案；
上述步骤4)中所述的变换模式决策，其具体过程如下：首先对步骤3)变换后系数Trans的绝对值进行降序排列，然后根据式8计算前k维最大系数绝对值之和在变换系数绝对值总和中所占比例，其中k一般使用经验设定值；比例值J作为变换模式的分数，选择J最高的模式作为最佳变换模式：
上述步骤5)中所述的点云属性压缩码流的生成，其具体过程如下：
(5-1)经过上述步骤1)至4)的处理，再对变换后的系数量化，结合变换模式信息进行熵编码，生成最终的点云属性码流；
(5-2)点云属性压缩的性能由码率和峰值信噪比PSNR(Peak Signal to NoiseRatio)来衡量，其中码率由码字总比特数除以点云的点数可得，单位是bpp(bits perpoint)，PSNR的单位是分贝dB；码率越小，PSNR越大，点云属性压缩性能越好。
上述方法先使用KD树对点云进行空域划分，再使用图的频谱聚类进行频域划分，使用增强图变换方案对点云属性进行压缩，提供两种变换模式，由模式决策选出最佳模式，实现更优的点云压缩性能。
与现有技术相比，本发明的有益效果是：
本发明提供一种基于增强图变换的点云属性压缩方法，具有以下技术优势：
(一)对点云先使用KD树进行空域划分，在此基础上结合图的频谱分析对编码块进行频域划分，实现更精准的点云划分，为实现更加的点云压缩性能提供保障。
(二)在原有图变换的基础上拓展了频谱聚类，新增局部图变换这一变换模式，构成包含两种变换模式的增强图变换，通过模式决策选出最佳变换模式，提高了图变换的效率，改善变换性能。
附图说明
图1是本发明提供方法的流程框图。
图2是对点云编码块增强图变换处理的示例流程图。
其中，(a)点云示例；(b)经KD树划分后得到编码块；(c)编码块示例；(d)对当前编码块进行增强图变换：若满足聚类条件，则将全点图分割成两张局部图；否则，不分割。
图3是点云属性信息压缩后的码流结构示例图。
图4a、b和c是本发明方法与现有传统方法的压缩性能对比图。
其中：
图4a是测试longdress_vox10_1300.ply的压缩性能对比图；
图4b是测试Queen_frame_0200.ply的压缩性能对比图；
图4c是测试soldier_vox10_0690.ply的压缩性能对比图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明的一种基于增强图变换的点云属性压缩的方法，针对点云数据，使用K-dimension(KD)树对点云先进行空域划分，提出一种新的结合频谱分析的图变换处理方法，在点云编码块内的图上对点云再进行频谱聚类，在现有图变换基础上拓展实现局部图变换方案，形成具有两种变换模式的增强图变换，提高图变换的压缩性能；图1是本发明方法的流程框图。
以下针对MPEG点云压缩工作组中官方点云数据集longdress_vox10_1300.ply、Queen_frame_0200.ply和soldier_vox10_0690.ply，采用本发明方法进行点云属性压缩，如图1所示，具体实施步骤为：
(1)点云属性的颜色空间转换：读入待处理的点云属性信息，点云中的点pi具有RGB颜色空间的颜色值为ri、gi、bi，通过颜色空间转换矩阵将RGB转换到YUV颜色空间，颜色值为yi、ui、vi，如式1所示：
点云longdress_vox10_1300.ply的第一个点p1的RGB颜色值为(102,94,87)，经过颜色转换矩阵的处理得到YUV颜色值为(54.4128,-2.7926,50.3798)。
点云Queen_frame_0200.ply的第一个点p1的RGB颜色值为(102,80,71)，经过颜色转换矩阵的处理得到YUV颜色值为(48.0172,9.8702,44.1126)。
点云soldier_vox10_0690.ply的第一个点p1的RGB颜色值为(68，65，64)，经过颜色转换矩阵的处理得到YUV颜色值为(39.0078,-5.4862,34.4784)。
(2)采用KD树划分点云得到编码块：KD树实质上是一种二叉树，对该点云进行KD树的划分时，每次选择点云位置坐标中分布方差最大的坐标轴作为划分轴，在该轴上选取坐标大小是中位值的点作为划分点，迭代划分直至达到设定的KD树深度，划分完成后的KD树及带编号的编码块。
点云longdress_vox10_1300.ply共有857966个点，KD树划分深度d设为13，经过划分后块内点的数量为104或105。
点云Queen_frame_0200.ply共有1000993个点，KD树划分深度d设为13，经过划分后块内点的数量为122或123。
点云soldier_vox10_0690.ply共有1089091个点，KD树划分深度d设为13，经过划分后块内点的数量为132或133。
(3)基于频谱聚类的增强图变换：点云经步骤(2)的KD树划分后得到编码块，再使用包含两种变换模式的增强图变换进行处理，处理流程如图2所示。增强图变换的实质是在目前图变换的基础上扩展图的频谱聚类为另一种变换模式，具体细节如下：
(3-1)图的构建：在块内每两点之间用边连接起来，构成一张由点n和边ε组成的图G。
(3-2)图的相邻矩阵：图G的相邻矩阵W是ni、nj两点之间边权重ωij的集合，反映变换块内各点之间的相关性，边的权重由式2确定：
其中，参数σ是点云几何坐标的方差，参数τ是判定两点之间相关性的距离阈值，影响变换矩阵的生成，一般用表示τ，τ′设定为0.8。
(3-3)图的密度矩阵：图G的密度矩阵D是一个对角矩阵，表达式如式3所示，其中Di是相邻矩阵第i行中非零元素之和，反映了第i个点与其他点相关性的密度：
Di＝∑jωi,j (式3)
(3-4)图的拉普拉斯矩阵：图G的变换算子一般用拉普拉斯矩阵L，其表达式为式4：
L＝D-W (式4)
(3-5)变换模式一的图变换矩阵：对拉普拉斯矩阵L进行特征分解，得到特征向量矩阵A作为变换模式一的图变换矩阵，用于对点云的属性信息的压缩，其中特征分解如式5：
L＝AΛA-1 (式5)
(3-6)基于图变换矩阵的频谱聚类：对特征向量矩阵A的第二维列向量V2进行频谱聚类，根据向量参数值pi的正负号将点聚成两类C1、C2，表示为式6；根据聚类情况将全局图G划分成两张局部图G1、G2，由对应的点n和边ε构成，表示为式7：
其中式6中，count(C1)是计算C1中的点的数量，cound(C2)是计算C2中的点的数量，cound(block)是计算当前编码块内点的总数。
(3-7)变换模式二的图变换矩阵：对两张局部图G1、G2分别进行特征分解，得到变换矩阵A1、A2，作为变换模式二的局部图变换矩阵，用于对应图中点的颜色信息的变换。
(3-8)两种变换模式的图变换构成了增强图变换方案。
(4)变换的模式决策：
对编码块的颜色信息有两种变换模式，需要估计变换的性能来进行模式决策，选出最佳的变换模式；计算变换后系数中前k个最大系数绝对值之和在变换系数绝对值总和中所占的比例，作为变换模式的分数，如式8所示；分数越高，代表该模式的变换效率越高，具有最大分数的模式将被选择为当前块的变换模式。
例如，点云longdress_vox10_1300.ply的第一个编码块b1，使用变换模式一和二的分数J分别是0.58和0.4，所以选择J更大的模式一作为b1块的最佳变换模式。
(5)点云属性压缩码流的生成：针对点云longdress_vox10_1300.ply的8192个编码块、Queen_frame_0200.ply的8192个编码块、soldier_vox10_0690.ply的8192个编码块，将块内的颜色信息依次经过增强图变换、量化和熵编码处理，再结合变换模式的码流信息，按照编码块的顺序写入码流文件中，最终码流文件的结构如图3所示。点云属性压缩的性能由码率和峰值信噪比PSNR(Peak Signal to Noise Ratio)来衡量，其中码率的单位是bpp(bits per point)，PSNR的单位是分贝dB。
为了验证本发明的一种基于增强图变换的点云属性压缩的方法的效果，我们使用上述3个数据集longdress_vox10_1300.ply、Queen_frame_0200.ply、soldier_vox10_0690.ply进行实验，在压缩性能上与现有的方法对比结果如图4a、b和c所示。
从图4a、b和c可以看出，在测试的三类典型的点云序列上，本发明的方法在属性压缩性能上明显优于现有的主流方法(基于八叉树和DCT的属性压缩，R.N.Mekuria,K.Blom,and P.Cesar,“Design,Implementation and Evaluation of a Point Cloud Codec forTele-Immersive Video,”IEEE Trans.CSVT,vol.PP,no.99,pp.1–1,2016.)，在相同码率的条件下，PSNR改善了1-4dB。本方法虽计算量稍大于目前的方法，但压缩性能的优势明显，而且克服了以往图变换中的子图问题，优点突出。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (6)

1.一种基于增强图变换的点云属性压缩方法，针对点云属性信息，使用K-dimension(KD)树对点云先进行空域划分，提出一种新的结合频谱分析的图变换处理方法，在点云编码块内的图上对点云再进行频谱聚类，在现有图变换基础上拓展实现局部图变换方案，形成具有两种变换模式的增强图变换，提高图变换的压缩性能；包括如下步骤：
1)点云属性的颜色空间转换：
读入待处理的点云属性信息，考虑人眼的视觉特性和压缩处理的难易程度，将点云颜色空间从RGB空间转换到YUV空间；
2)采用KD树划分点云得到编码块，并按照广度遍历顺序对编码块进行编号：
读入点云的几何信息，根据几何信息对点云进行KD树划分，每次选择点云位置坐标中分布方差最大的坐标轴作为划分轴，选取坐标大小是中位值的点作为划分点，迭代划分直至达到设定的KD树深度；KD树划分的最后一层所得到的块即为点云的编码块，按照广度遍历的顺序对编码块进行编号，该编号将作为编码块后期处理的顺序；
3)在编码块内构建图使用增强图变换，有两种变换模式：
在编码块内，每两个点ni、nj之间用边εij连接起来构建一张全点图G，图上的每个点具有颜色信息，边的权重由两点的几何相对位置决定；边εij的权重大小ωij反映ni、nj两点之间的几何相关性，所有边的权重ω构成图的邻近矩阵W，进一步得到特征向量矩阵A；
变换模式一：将全点图的特征向量A作为变换矩阵，对编码块的颜色信息进行变换；
变换模式二：图G的特征向量矩阵A反映了图的频谱分布，由此在矩阵A的基础上进行频谱聚类，实现局部图的分割；使用矩阵A的第二维列向量的正负号将块内所有点聚成两类，如两类点的数量均达到块内点总数的40％以上，则根据聚类情况将图G划分成两张局部图G1、G2，分别得到对应的特征向量矩阵A1、A2；对两张局部图G1、G2中的颜色信息，使用对应的变换矩阵进行变换；
4)变换的模式决策：
对编码块的颜色信息进行变换有两种模式，需要估计变换的性能来进行模式决策，选出最佳的变换模式；计算变换后系数中前k个最大系数绝对值之和在变换系数绝对值总和中所占的比例，作为变换模式的分数；分数越高，代表选定的变换系数在变换系数总和中所占比例越高，代表该模式的变换效率越高，性能越好，具有最大分数的模式将被选择为当前块的变换模式；
5)点云属性压缩码流的生成：按照编码顺序处理所有编码块，对变换后系数进行量化，结合变换模式信息进行熵编码，得到点云属性压缩的最终码流。
2.如权利要求1所述的一种基于增强图变换的点云属性压缩方法，其特征是，步骤1)中颜色空间转换的具体过程是：点云中的点pi具有RGB颜色空间的颜色值为ri、gi、bi，通过式1转换到YUV颜色空间，颜色值为yi、ui、vi：
3.如权利要求1所述的一种基于增强图变换的点云属性压缩方法，其特征是，步骤2)中KD树划分方法为二元划分方法；设待处理的点云共有N个点，KD树设定的划分深度为d，经过对点云d次划分后，得到2d个编码块；对所有的编码块按照广度遍历的顺序进行编号
4.如权利要求1所述的一种基于增强图变换的点云属性压缩方法，其特征是，步骤3)增强图变换具体过程如下：
(4-1)在每个变换块内构建一张图G，每两点ni、nj之间用一条边εij连接，边εij的权重大小ωij与两点之间的欧氏距离相关，常用式2计算可得：
其中，参数σ反映了当前点云分布的方差；参数τ是判定两点之间是否连线的距离阈值，决定图拉普拉斯矩阵的稀疏度，一般使用经验设定值；
(4-2)图G的邻近矩阵W是边权重ωij的集合，反映块内各点之间的相关性；图G的密度矩阵D是一个对角矩阵，其中Di是邻近矩阵W第i行中非零元素的和，表示为式3，反映了第i个点与其他点相关性的密度；图G的变换算子采用拉普拉斯矩阵L，表示为式4：
Di＝∑jωi，j (式3)
L＝D-W (式4)
(4-3)对拉普拉斯矩阵L进行特征分解，表示为式5，得到特征向量矩阵A，作为变换模式一的全局图变换矩阵，用于对点云属性信息的压缩：
L＝AΛA-1 (式5)
其中，A为特征向量矩阵；
(4-4)对特征向量矩阵A的第二维列向量V2进行频谱聚类，根据向量参数值pi的正负号将点聚成两类C1、C2，表示为式6；根据聚类情况将全局图G划分成两张局部图G1、G2，由对应的点n和边ε构成，表示为式7：
其中式6中，count(C1)是计算C1中的点的数量，count(C2)是计算C2中的点的数量，count(block)是计算当前编码块内点的总数；
(4-5)对两张局部图G1、G2分别进行特征分解，得到变换矩阵A1、A2，作为变换模式二的局部图变换矩阵，用于对应图中点的颜色信息信息的变换；
(4-6)两种变换模式的图变换构成了增强图变换方案。
5.如权利要求1所述的一种基于增强图变换的点云属性压缩方法，其特征是，步骤4)中变换的模式决策，关键是计算变换模式的分数J；首先对变换后系数Trans的绝对值降序排列，然后选择前k维最大系数计算绝对值之和在变换系数绝对值总和中所占比例，表示为式8：
6.如权利要求1所述的一种基于增强图变换的点云属性压缩方法，其特征是，步骤5)中具体细节如下：
(6-1)点云属性信息的码流由压缩头信息和编码块信息两大部分组成，其中，头信息包括量化步长；编码块信息流以编码块为单位，按照编码块的顺序排列，每个块内包括编码块的变换模式信息和颜色残差信息；
(6-2)点云属性压缩的性能由码率和峰值信噪比PSNR(Peak Signal to Noise Ratio)来衡量，其中码率的单位是bpp(bits per point)，PSNR的单位是分贝dB；码率越小，PSNR越大，点云属性压缩性能越好。
CN201810142763.8A 2018-02-11 2018-02-11 一种基于增强图变换的点云属性压缩方法 Active CN108335335B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810142763.8A CN108335335B (zh) 2018-02-11 2018-02-11 一种基于增强图变换的点云属性压缩方法
US16/957,187 US11126887B2 (en) 2018-02-11 2018-02-12 Enhanced graph transformation-based point cloud attribute compression method
PCT/CN2018/076495 WO2019153342A1 (zh) 2018-02-11 2018-02-12 一种基于增强图变换的点云属性压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810142763.8A CN108335335B (zh) 2018-02-11 2018-02-11 一种基于增强图变换的点云属性压缩方法

Publications (2)

Publication Number Publication Date
CN108335335A CN108335335A (zh) 2018-07-27
CN108335335B true CN108335335B (zh) 2019-06-21

Family

ID=62929470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810142763.8A Active CN108335335B (zh) 2018-02-11 2018-02-11 一种基于增强图变换的点云属性压缩方法

Country Status (3)

Country Link
US (1) US11126887B2 (zh)
CN (1) CN108335335B (zh)
WO (1) WO2019153342A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166160B (zh) * 2018-09-17 2022-07-01 华侨大学 一种采用图形预测的三维点云压缩方法
WO2020094076A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Motion candidates for inter prediction
CN111327897B (zh) 2018-12-13 2022-01-14 华为技术有限公司 点云编码方法和编码器
WO2020143005A1 (zh) * 2019-01-10 2020-07-16 深圳市大疆创新科技有限公司 对三维数据点集进行编码或解码的方法和设备
CN109979008B (zh) * 2019-04-09 2023-04-07 北京大学深圳研究生院 一种基于属性的点云条带划分方法
WO2020243874A1 (zh) * 2019-06-03 2020-12-10 深圳市大疆创新科技有限公司 点云数据的位置坐标的编解码方法、系统和存储介质
CN111699684B (zh) * 2019-06-14 2022-05-06 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置
EP3979638A4 (en) * 2019-07-03 2022-09-21 Guangdong Oppo Mobile Telecommunications Corp., Ltd. POINT CLOUD ENCODING AND DECODER METHOD, ENCODER, DECODER AND COMPUTER STORAGE MEDIA
CN114127654B (zh) * 2019-07-31 2024-01-12 沃尔沃卡车集团 形成车辆的行驶路径的方法
CN110572655B (zh) * 2019-09-30 2023-01-10 北京大学深圳研究生院 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备
CN110533645A (zh) * 2019-08-23 2019-12-03 上海交通大学 基于视觉任务的点云数据压缩质量评价方法及系统
CN110569926B (zh) * 2019-09-19 2021-06-08 北京工商大学 一种基于局部边缘特征增强的点云分类方法
WO2021062743A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 占位信息的预测方法、编码器、解码器、及存储介质
JP7425207B2 (ja) 2020-01-07 2024-01-30 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
US11741637B2 (en) * 2020-02-10 2023-08-29 Tencent America LLC Node-based geometry and attribute coding for a point cloud
EP4092625A4 (en) * 2020-04-08 2023-04-19 LG Electronics, Inc. POINT CLOUD DATA TRANSMISSION DEVICE, TRANSMISSION METHOD, PROCESSING DEVICE AND PROCESSING METHOD
KR102406845B1 (ko) 2020-04-13 2022-06-10 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20230154052A1 (en) * 2020-04-24 2023-05-18 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
CN111866518B (zh) * 2020-07-29 2022-05-27 西安邮电大学 基于特征提取的自适应三维点云压缩方法
CN112218079B (zh) * 2020-08-24 2022-10-25 北京大学深圳研究生院 一种基于空间顺序的点云分层方法、点云预测方法及设备
CN115474041B (zh) * 2021-06-11 2023-05-26 腾讯科技（深圳）有限公司 点云属性的预测方法、装置及相关设备
CN115474035A (zh) * 2021-06-11 2022-12-13 鹏城实验室 点云属性编码方法、装置、解码方法、装置及相关设备
WO2023015530A1 (zh) * 2021-08-12 2023-02-16 Oppo广东移动通信有限公司 点云编解码方法、编码器、解码器及计算机可读存储介质
CN114339230B (zh) * 2022-03-03 2022-09-02 杭州未名信科科技有限公司 用于视频编码的变换核选择方法、装置、存储介质及终端
CN114782564B (zh) * 2022-06-21 2022-09-09 北京大学深圳研究生院 一种点云的压缩方法、装置、电子设备及存储介质
CN115994849B (zh) * 2022-10-24 2024-01-09 南京航空航天大学 一种基于点云上采样的三维数字水印嵌入与提取方法
CN115421161B (zh) * 2022-11-03 2023-04-07 上海伯镭智能科技有限公司 基于激光雷达测距的无人驾驶矿车控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006122222A2 (en) * 2005-05-11 2006-11-16 Georgia Tech Research Corporation Shape tunable plasmonic nanoparticles
CN106796661A (zh) * 2014-08-12 2017-05-31 曼蒂斯影像有限公司 投影光图案的系统、方法和计算机程序产品
EA027858B1 (ru) * 2014-10-13 2017-09-29 Владислав Николаевич ЛАСКАВЫЙ Средство для диагностики лейкоза крупного рогатого скота и способ его применения
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
CN107426559A (zh) * 2016-05-24 2017-12-01 汤姆逊许可公司 用于沉浸式视频格式的方法、装置和流

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529634B1 (en) 1999-11-08 2003-03-04 Qualcomm, Inc. Contrast sensitive variance based adaptive block size DCT image compression
CN100581264C (zh) 2006-01-21 2010-01-13 宇龙计算机通信科技(深圳)有限公司 确定视频块帧内或帧间编码的方法
CN101383972A (zh) * 2008-09-28 2009-03-11 北京航空航天大学 基于空间预测与变换的遥感图像压缩方法
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR102365685B1 (ko) * 2015-01-05 2022-02-21 삼성전자주식회사 인코더의 작동 방법과 상기 인코더를 포함하는 장치들
US10013653B2 (en) * 2016-01-26 2018-07-03 Università della Svizzera italiana System and a method for learning features on geometric domains
CN105654530B (zh) 2016-03-08 2018-07-31 厦门大学 一种基于压缩感知的高鲁棒性图像自适应压缩方法
EP3429207A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object
US11113845B2 (en) * 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10607373B2 (en) * 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006122222A2 (en) * 2005-05-11 2006-11-16 Georgia Tech Research Corporation Shape tunable plasmonic nanoparticles
CN106796661A (zh) * 2014-08-12 2017-05-31 曼蒂斯影像有限公司 投影光图案的系统、方法和计算机程序产品
EA027858B1 (ru) * 2014-10-13 2017-09-29 Владислав Николаевич ЛАСКАВЫЙ Средство для диагностики лейкоза крупного рогатого скота и способ его применения
CN107426559A (zh) * 2016-05-24 2017-12-01 汤姆逊许可公司 用于沉浸式视频格式的方法、装置和流
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Attribute compression of 3D point clouds using Laplacian sparsity optimized graph transform;Yiting Shao ET AL;《2017 IEEE Visual Communications and Image Processing (VCIP)》;20171213;全文
特征保持的点云光顺算法;宋大虎;《中国机械工程》;20140704;全文

Also Published As

Publication number Publication date
US20200394450A1 (en) 2020-12-17
CN108335335A (zh) 2018-07-27
WO2019153342A1 (zh) 2019-08-15
US11126887B2 (en) 2021-09-21

Similar Documents

Publication Publication Date Title
CN108335335B (zh) 一种基于增强图变换的点云属性压缩方法
CN108322742B (zh) 一种基于帧内预测的点云属性压缩方法
CN108632607B (zh) 一种基于多角度自适应帧内预测的点云属性压缩方法
CN108632621B (zh) 一种基于层次划分的点云属性压缩方法
US10552989B2 (en) Point cloud attribute compression method based on KD tree and optimized graph transformation
CN108833927B (zh) 一种基于删除量化矩阵中0元素的点云属性压缩方法
Huang et al. Octree-Based Progressive Geometry Coding of Point Clouds.
CN109889840B (zh) 点云编码和解码的方法、编码设备和解码设备
US9819964B2 (en) Limited error raster compression
US20230237705A1 (en) Methods for level partition of point cloud, and decoder
CN114782564B (zh) 一种点云的压缩方法、装置、电子设备及存储介质
Franklin et al. Smugglers and border guards: the geostar project at RPI
CN108805886A (zh) 一种多融合物理签名的持久性聚类分割方法
CN111316326A (zh) 图像编码方法、设备及计算机可读存储介质
WO2023155778A1 (zh) 编码方法、装置及设备
Zhang et al. CURL: Continuous, Ultra-compact Representation for LiDAR
WO2023179710A1 (zh) 编码方法及终端
CN117319683A (zh) 基于纹理驱动的图稀疏度优化的点云属性压缩方法
CN117321996A (zh) 帧内预测、编解码方法及装置、编解码器、设备、介质
EP4233006A2 (en) Devices and methods for spatial quantization for point cloud compression
Xie et al. Progressive transmission of lossily compressed terrain
Qi et al. A method of 3D modeling and codec
Ahmed Sampling with AA Patterns
Inoue Compact 3D representations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant