CN108632621A - 一种基于层次划分的点云属性压缩方法 - Google Patents

一种基于层次划分的点云属性压缩方法 Download PDF

Info

Publication number
CN108632621A
CN108632621A CN201810435403.7A CN201810435403A CN108632621A CN 108632621 A CN108632621 A CN 108632621A CN 201810435403 A CN201810435403 A CN 201810435403A CN 108632621 A CN108632621 A CN 108632621A
Authority
CN
China
Prior art keywords
block
point cloud
cloud
band
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810435403.7A
Other languages
English (en)
Other versions
CN108632621B (zh
Inventor
李革
邵薏婷
张琦
王荣刚
黄铁军
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201810435403.7A priority Critical patent/CN108632621B/zh
Priority to US16/626,907 priority patent/US11004240B2/en
Priority to PCT/CN2018/086790 priority patent/WO2019213985A1/zh
Publication of CN108632621A publication Critical patent/CN108632621A/zh
Application granted granted Critical
Publication of CN108632621B publication Critical patent/CN108632621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公布了一种基于层次划分的点云属性压缩方法，针对点云属性信息，提出一种新的基于层次划分的编码方案，按照点云空间位置和颜色分布，将一帧点云自适应地划分成“条带‑宏块‑块”的层次结构，各条带之间独立编码，提高编码效率，增强系统的容错性，改善点云属性的压缩性能。本发明通过综合利用点云的空间位置和颜色信息，自适应地将一帧点云划分成“条带‑宏块‑块”的层次结构，尽可能地令颜色相近、空间位置相关的点聚集在一个条带、宏块或编码块内，便于充分利用相邻点之间属性信息的冗余，改善点云属性压缩的性能；同时，各条带之间独立编码，支持随机访问，提高编码效率，并防止编码错误的累积和扩散，增强系统的容错性。

Description

一种基于层次划分的点云属性压缩方法
技术领域
本发明属于点云数据处理技术领域，涉及点云数据压缩方法，尤其涉及一种基于层次划分的点云属性压缩方法。
背景技术
三维点云是现实世界数字化的重要表现形式。随着三维扫描设备(激光、雷达等)的快速发展，点云的精度、分辨率更高。高精度点云广泛应用于城市数字化地图的构建，在如智慧城市、无人驾驶、文物保护等众多热门研究中起技术支撑作用。点云是三维扫描设备对物体表面采样所获取的，一帧点云的点数一般是百万级别，其中每个点包含几何信息和颜色、纹理等属性信息，数据量十分庞大。三维点云庞大的数据量给数据存储、传输等带来巨大挑战，所以点云压缩十分必要。
点云压缩主要分为几何压缩和属性压缩，现有的点云属性压缩框架主要包括以下几种：
一、基于八叉树分解和DCT的方法：该方法先用八叉树对点云进行空间分解得到编码块，然后对树进行深度优先遍历，将遍历的结点颜色值按照蛇形的顺序写入二维的JPEG表，再利用现有的JPEG编码器对获得的点云颜色表进行编码，其中JPEG编码器使用的是DCT。该方法利用现有的编码器，计算复杂度低，但并未充分利用点与点之间的空间相关性，在压缩性能上有待提高；
二、基于八叉树分解和图变换的方法：该方法先用八叉树对点云进行空间分解，划分到特定层次得到变换块；在每个变换块内形成图，将沿着任意坐标轴的距离不超过1的两点用一条边连接起来，边的权重与欧氏距离成反比；再对图中结点的属性信息进行图变换。该方法的压缩性能佳；但运算复杂度较高，其构图方式可能会带来子图问题，影响图变换的效率，仍有改善的空间；
三、基于KD树分解和图变换的方法：该方法先用KD树对点云进行空间分解，划分到一定深度得到变换块，其中每个变换块内所包含的点数大致相同：在变换块内，每两点用一条边连接起来，边的权重与欧氏距离有关，设定的边欧式距离阈值决定图的稀疏度；然后再对图内点的属性信息进行图变换。该方法彻底解决了子图问题，同时在压缩性能方面较前两种方法都有较大的提升，但运算复杂度较高，性能仍待改善。
发明内容
为了克服上述现有技术的不足，在考虑计算复杂度的条件下，进一步改善点云属性的压缩性能，本发明提供一种基于层次划分的点云属性压缩方法，按照点云空间位置和颜色分布，将一帧点云自适应地划分成“条带-宏块-块”的层次结构，各条带之间独立编码，提高编码效率，增强系统的容错性，改善点云属性的压缩性能。
本发明提供的技术方案是：
一种基于层次划分的点云属性压缩方法，针对点云数据，综合利用点云的空间位置和颜色信息，自适应地将一帧点云划分成“条带-宏块-块”的层次结构，尽可能地令颜色相近、空间位置相关的点聚集在一个条带、宏块或编码块内，便于充分利用相邻点之间属性信息的冗余，改善点云属性压缩的性能；同时，各条带之间独立编码，提高编码效率，并防止编码错误的累积和扩散，增强系统的容错性；包括如下步骤：
1)点云的输入：
读入待处理的点云几何信息和属性信息，以备后续处理。
2)点云KD树的划分：
根据几何信息对点云进行KD树划分，每次选择点云位置坐标中分布方差最大的坐标轴作为划分轴，选取坐标大小是中位值的点作为划分点，迭代划分直至达到设定的KD树深度，KD树划分后得到点个数几乎相等的编码块单元。
3)点云属性信息的连贯性分析：
在经过KD树划分后得到编码块，根据属性信息，计算每个块内颜色值的方差判断该块是否为平坦块，再通过计算平坦块占所有块数的比例，分析点云属性信息的连贯性，判断是否进行条带划分。
4)点云的条带划分：
如果在步骤3)中判断点云属性信息连续性较差，则进行多个条带划分，反之一帧点云为一个条带。根据不同的应用场景和性能需求设置相应的划分条件，将一帧点云划分为多个独立编码的条带。
5)点云的宏块、编码块的划分：
根据几何信息对各个条带进行KD树划分，每次选择点云位置坐标中分布方差最大的坐标轴作为划分轴，选取坐标大小是中位值的点作为划分点，迭代划分直至达到设定的KD树深度；KD树划分的最后一层所得到的块即为点云的编码块，按照广度遍历的顺序对编码块进行编号，该编号将作为编码块后期处理的顺序；KD树划分的根节点上一层所得到的块为点云的宏块，一个宏块是两个编码块的父节点。
6)帧内预测、变换、量化和熵编码：
按照编码顺序处理所有编码块，对预测后的残差进行变换、均匀量化和熵编码，得到点云属性压缩的最终码流；
上述步骤2)中点KD树划分方法为二元划分方法；设待处理的点云共有N个点，KD树设定的划分深度为d，经过对点云d次划分后，得到2d个块；对所有的编码块按照广度遍历的顺序进行编号
上述步骤3)中对点云属性信息的连贯性分析的方法：按照广度顺序遍历并计算每个块bi内颜色值Ri、Gi、Bi的方差var(i)，以R为例，首先采用式1计算块bi内N个点的R颜色分量的均值然后采用式2计算得到块bi的R的方差var(i)_R1，G和B同理，得到var(i)_R1、var(i)_G1、var(i)_B1后与连贯性阈值thres_1比较。如果三种颜色分量的var(i)均大于thres_1，则判定bi是非平坦块，否则bi是平坦块。同时记录非平坦块的个数，遍历结束后得到所有块中非平坦块的个数num。用所有块中非平坦块的个数num除以总块数2d得到非平坦块占比(num)/(2d)，即ratio。将ratio与阈值thres_2比较：如果(num1)/(2d)大于thres_2，则说明点云的属性信息连贯性较差，需要进行条带划分；反之说明点云属性信息连贯性较好，不需要进行条带划分。
上述步骤4)中对点云进行条带结构的划分，有但不限于如下方案：遍历点云中所有点的属性信息，把点云中具有相近属性信息的点划分为一个条带，如果一个点的颜色值R、G、B均小于65，则将其归类到条带1，反之如果该点的颜色值R、G、B有一个大于或等于65，则将其归类到条带2，通过这种方法，将原始的点云划分为两个条带；根据不同应用的需要和对不同类型点云处理的要求，基于层次划分的方案可以将一帧点云划分为多个条带。
上述步骤5)中KD树划分方法为二元划分方法；设待处理的点云共有N个点，KD树设定的划分深度为d，经过对点云d次划分后，得到2d个块；对所有的编码块按照广度遍历的顺序进行编号
上述步骤5)中宏块和编码块之间的关系是：每个宏块可以继续划分为两个编码块，这两个编码块被称作它的子块；同时该相邻的两个编码块具有同一个父块，即这两个编码块组成一个宏块。
上述步骤6)中所述的点云属性压缩码流的生成，其具体过程如下：
(4-1)经过步骤1)至4)的处理，将每个条带独立输入基于帧内预测、变换、量化、熵编码的点云属性压缩编码器。在编码器内经过步骤5)得到带编号的编码块和可以选择使用的宏块；通过预测得到预测残差和其预测模式信息；对预测残差进行变换和均匀量化，二值化后得到属性信息的码流，再结合编码块的预测模式信息，经过熵编码得到最终的点云属性压缩码流；
(4-2)基于层次划分的点云属性信息的码流主要由各个条带的点云属性信息组成，其中每个条带的点云属性信息由压缩头信息和编码块信息两大部分组成。头信息主要包括量化步长等；编码块信息流以编码块为单位，按照编码块的顺序排列，每个块内主要包括编码块的预测模式信息和颜色残差信息。
(4-3)点云属性压缩的性能由码率和峰值信噪比PSNR(Peak Signal to NoiseRatio)来衡量，其中码率的单位是bpp(bits per point)，PSNR的单位是分贝dB；码率越小，PSNR越大，点云属性压缩性能越好。
与现有技术相比，本发明的有益效果是：
本发明提供一种基于层次划分的点云属性压缩方法，具有以下技术优势：
(一)综合利用点云的空间位置和颜色信息，将一帧点云划分成“条带-宏块-块”的层次结构，尽可能地令颜色相近、空间位置相关的点聚集在一个条带、宏块或编码块内，便于充分利用相邻点之间属性信息的冗余，改善点云属性压缩的性能。
(二)各条带之间独立编码，支持随机访问，提高编码效率，并防止编码错误的累积和扩散，增强系统的容错性。
附图说明
图1是本发明提供方法的流程框图。
图2是点云的“条带-宏块-块”的层次结构的示例图。
图3a和b是点云条带划分的示例图，其中，
图3a测试Shiva_00035_vox12.ply；
图3b测试Sarah.pl。.
图4是点云属性信息压缩后的码流结构示例图。
图5a、b和c是本发明方法与现有传统方法的压缩性能对比图,其中，
图5a测试Facade_00015_vox14.ply；
图5b测试Shiva_00035_vox12.ply；
图5c测试Queen_frame_0200.ply。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明的一种基于层次划分的点云属性压缩的方法，针对点云数据，提出一种新的基于层次划分的点云属性压缩方法，综合利用点云的空间位置和颜色信息，将一帧点云划分成“条带-宏块-块”的层次结构，提高点云属性的压缩性能；图1是本发明方法的流程框图。
以下针对MPEG点云压缩工作组中的官方点云数据集Facade_00015_vox14.ply，Shiva_00035_vox12.ply，Queen_frame_0200.ply，采用本发明方法进行点云属性压缩，如图1所示，具体实施步骤为：
(1)点云KD树划分及编码块属性信息的连贯性分析：
以点云Facade_00015_vox14.ply为例，共有279664个点，KD树划分深度d设为11，经过划分后共有2^d＝2048个块，块内点的数量为136或137。以编码块索引i＝0为起始块，循环所有编码块，计算非平坦块的数量num和非平坦块在所有块中所占比例ratio，估计各编码块的连贯性。
计算每个块内颜色值R、G、B的方差，以第一个块为例，其R、G、B的方差值var(1)_R1、var(1)_G1、var(1)_B1为别为751.15125、592.85834、577.31110，方差阈值thres_1设为1000，三个颜色分量的var(1)均小于thres_1，则该块是平坦块；遍历计算所有2048个块之后，共有86个平坦块，总块数为2048，,则非平坦块占比约为0.04，比率阈值thres_2设为0.01，非平坦块占比大于thres_2，说明点云的属性信息连贯性较差，需要进行条带划分。
(2)点云的条带划分：
据图2描述，每帧点云会被划分为“条带-宏块-块”的层次结构。点云经过条带划分后得到数条独立的条带，每个条带再独立地进行后续宏块和编码块的划分。如图3a、b和c所示，以Shiva_00035_vox12.ply和Sarah.ply为例展示条带划分后的点云情况。这两幅点云经过条带划分后，均得到两幅独立的条带，各个条带展示了该点云的局部信息。
以点云Facade_00015_vox14.ply为例，首先进行条带的划分。遍历点云中所有279664个点的属性信息，如果一个点的颜色值R、G、B均小于65，则将其归类到条带1，反之如果该点的颜色值R、G、B有一个大于或等于65，则将其归类到条带2，通过这种方法，将原始的点云划分为两个条带，条带1有93945个点，条带2有185719个点。通过设置不同的条带颜色阈值，可以将点云划分成n个独立的条带。
(3)点云的宏块、编码块的划分：
点云Facade_00015_vox14.ply经过条带划分，得到两个独立的条带，随后要进行点云的宏块和编码块的划分，如图2所示。以点云Facade_00015_vox14.ply的条带1为例，包含93945个点，使用KD树进行宏块和编码块的划分，划分深度设为9，经过划分后共有256个宏块，每个宏块包括两个编码块，故得到512个编码块，其中块内点的数量为183或184。
(4)点云属性压缩码流的生成：
以点云Facade_00015_vox14.ply为例，针对点云Facade_00015_vox14.ply的512个编码块，将块内的颜色信息依次经过帧内预测、变换、量化和熵编码处理，再结合预测模式和变换模式的码流信息，按照条带的顺序写入码流文件中，最终码流文件的结构如图4所示。点云属性压缩的性能由码率和峰值信噪比PSNR(Peak Signal to Noise Ratio)来衡量，其中码率的单位是bpp(bits per point)，PSNR的单位是分贝dB。
为了验证本发明的一种基于层次划分的点云属性压缩的方法的效果，我们使用上述3个数据集Facade_00015_vox14.ply，Shiva_00035_vox12.ply，Queen_frame_0200.ply进行实验，在压缩性能上与现有的方法对比结果如图5a、b和c所示。
从图4可以看出，在使用相同的基于帧内预测、图变换、量化、熵编码的点云属性压缩编码器情况下，引入本发明的基于层次划分的压缩结构后，在测试的三类典型的点云数据上，产生了稳定的显著的性能增益，同时可以支持随机访问。本方法按照点云空间位置和颜色分布，将一帧点云自适应地划分成“条带-宏块-块”的层次结构，各条带之间独立编码，提高编码效率，增强系统的容错性，在各个码率点下，点云属性的压缩性能均得到改善，带来增益稳定，优点突出。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (7)

1.一种基于层次划分的点云属性压缩方法，针对点云属性信息，提出一种基于层次划分的编码新方案，按照点云空间位置和颜色分布，将一帧点云自适应地划分成“条带-宏块-块”的层次结构，各条带之间独立编码，支持随机访问，提高编码效率，增强系统的容错性，改善点云属性的压缩性能；包括如下步骤：
1)点云的输入：
读入待处理的点云几何信息和属性信息，以备后续处理。
2)点云KD树的划分：
根据几何信息对点云进行KD树划分，每次选择点云位置坐标中分布方差最大的坐标轴作为划分轴，选取坐标大小是中位值的点作为划分点，迭代划分直至达到设定的KD树深度，KD树划分后得到点个数几乎相等的编码块单元。
3)点云属性信息的连贯性分析：
在经过KD树划分后得到编码块，根据属性信息，计算每个块内颜色值的方差判断该块是否为平坦块，再通过计算平坦块占所有块数的比例，分析点云属性信息的连贯性，判断是否进行条带划分。
4)点云的条带划分：
如果在步骤3)中判断点云属性信息连续性较差，则进行多个条带划分，反之一帧点云为一个条带。根据不同的应用场景和性能需求设置相应的划分条件，将一帧点云划分为多个独立编码的条带。
5)点云的宏块、编码块的划分：
根据几何信息对各个条带进行KD树划分，每次选择点云位置坐标中分布方差最大的坐标轴作为划分轴，选取坐标大小是中位值的点作为划分点，迭代划分直至达到设定的KD树深度；KD树划分的最后一层所得到的块即为点云的编码块，按照广度遍历的顺序对编码块进行编号，该编号将作为编码块后期处理的顺序；KD树划分的根节点上一层所得到的块为点云的宏块，一个宏块是两个编码块的父节点。
6)帧内预测、变换、量化和熵编码：
按照编码顺序处理所有编码块，对预测后的残差进行变换、均匀量化和熵编码，得到点云属性压缩的最终码流。
2.如权利要求1所述点云属性压缩方法，其特征是，步骤2)中点云KD树划分方法为二元划分方法；设待处理的点云共有N个点，KD树设定的划分深度为d，经过对点云d次划分后，得到2d个块；对所有的编码块按照广度遍历的顺序进行编号
3.如权利要求1所述点云属性压缩方法，其特征是，步骤3)中对点云属性信息的连贯性分析的方法：按照广度顺序遍历并计算每个块bi内颜色值Ri、Gi、Bi的方差var(i)，以R为例，首先采用式1计算块bi内N个点的R颜色分量的均值然后采用式2计算得到块bi的R的方差var(i)_R1，G和B同理，得到var(i)_R1、var(i)_G1、var(i)_B1后与连贯性阈值thres_1比较。如果三种颜色分量的var(i)均大于thres_1，则判定bi是非平坦块，否则bi是平坦块。同时记录非平坦块的个数，遍历结束后得到所有块中非平坦块的个数num。用所有块中非平坦块的个数num除以总块数2d得到非平坦块占比(num)/(2d)，即ratio。将ratio与阈值thres_2比较：如果(num1)/(2d)大于thres_2，则说明点云的属性信息连贯性较差，需要进行条带划分；
反之说明点云属性信息连贯性较好，不需要进行条带划分。
4.如权利要求1所述点云属性压缩方法，其特征是，步骤4)中对点云进行条带结构的划分，有但不限于如下方案：遍历点云中所有点的属性信息，把点云中具有相近属性信息的点划分为一个条带，如果一个点的颜色值R、G、B均小于65，则将其归类到条带1，反之如果该点的颜色值R、G、B有一个大于或等于65，则将其归类到条带2，通过这种方法，将原始的点云划分为两个条带；根据不同应用的需要和对不同类型点云处理的要求，基于层次划分的方案可以将一帧点云划分为多个条带。
5.如权利要求1所述点云属性压缩方法，其特征是，步骤5)中KD树划分方法为二元划分方法；设待处理的点云共有N个点，KD树设定的划分深度为d，经过对点云d次划分后，得到2d个块；对所有的编码块按照广度遍历的顺序进行编号
6.如权利要求1所述点云属性压缩方法，其特征是，步骤5)中宏块和编码块之间的关系是：每个宏块可以继续划分为两个编码块，这两个编码块被称作它的子块；同时该相邻的两个编码块具有同一个父块，即这两个编码块组成一个宏块。
7.如权利要求1所述点云属性压缩方法，其特征是，步骤6)中具体细节如下：
(7-1)经过步骤1)至2)的处理，将每个条带独立输入基于帧内预测、变换、量化、熵编码的点云属性压缩编码器。在编码器内经过步骤3)得到带编号的编码块和可以选择使用的宏块；通过预测得到预测残差和其预测模式信息；对预测残差进行变换和均匀量化，二值化后得到属性信息的码流，再结合编码块的预测模式信息，经过熵编码得到最终的点云属性压缩码流；
(7-2)基于层次划分的点云属性信息的码流主要由各个条带的点云属性信息组成，其中每个条带的点云属性信息由压缩头信息和编码块信息两大部分组成。头信息主要包括量化步长等；编码块信息流以编码块为单位，按照编码块的顺序排列，每个块内主要包括编码块的预测模式信息和颜色残差信息。
(7-3)点云属性压缩的性能由码率和峰值信噪比PSNR(Peak Signal to Noise Ratio)来衡量，其中码率的单位是bpp(bits per point)，PSNR的单位是分贝dB；码率越小，PSNR越大，点云属性压缩性能越好。
CN201810435403.7A 2018-05-09 2018-05-09 一种基于层次划分的点云属性压缩方法 Active CN108632621B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810435403.7A CN108632621B (zh) 2018-05-09 2018-05-09 一种基于层次划分的点云属性压缩方法
US16/626,907 US11004240B2 (en) 2018-05-09 2018-05-15 Hierarchical division-based point cloud attribute compression method
PCT/CN2018/086790 WO2019213985A1 (zh) 2018-05-09 2018-05-15 一种基于层次划分的点云属性压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810435403.7A CN108632621B (zh) 2018-05-09 2018-05-09 一种基于层次划分的点云属性压缩方法

Publications (2)

Publication Number Publication Date
CN108632621A true CN108632621A (zh) 2018-10-09
CN108632621B CN108632621B (zh) 2019-07-02

Family

ID=63696091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810435403.7A Active CN108632621B (zh) 2018-05-09 2018-05-09 一种基于层次划分的点云属性压缩方法

Country Status (3)

Country Link
US (1) US11004240B2 (zh)
CN (1) CN108632621B (zh)
WO (1) WO2019213985A1 (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257604A (zh) * 2018-11-20 2019-01-22 山东大学 一种基于tmc3点云编码器的颜色属性编码方法
CN109979008A (zh) * 2019-04-09 2019-07-05 北京大学深圳研究生院 一种基于属性的点云条带划分方法
CN109993839A (zh) * 2019-04-09 2019-07-09 北京大学深圳研究生院 一种自适应的点云条带划分方法
CN111289954A (zh) * 2020-03-31 2020-06-16 四川长虹电器股份有限公司 用于毫米波雷达目标跟踪的点云划分与航迹匹配方法
WO2020119725A1 (zh) * 2018-12-13 2020-06-18 华为技术有限公司 点云编码方法和编码器
WO2020143005A1 (zh) * 2019-01-10 2020-07-16 深圳市大疆创新科技有限公司 对三维数据点集进行编码或解码的方法和设备
WO2020147021A1 (zh) * 2019-01-15 2020-07-23 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置
CN111552765A (zh) * 2020-05-19 2020-08-18 北京数字绿土科技有限公司 海量点云空间索引构建方法、装置、构建设备
CN111684808A (zh) * 2019-05-31 2020-09-18 深圳市大疆创新科技有限公司 点云数据的编码方法、编码装置、解码方法与解码装置
CN111699684A (zh) * 2019-06-14 2020-09-22 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置
CN111699690A (zh) * 2019-07-04 2020-09-22 深圳市大疆创新科技有限公司 点云的处理方法和装置
CN112153381A (zh) * 2020-09-21 2020-12-29 南华大学 动态3d点云压缩帧内cu快速划分方法、设备及介质
WO2021000241A1 (zh) * 2019-07-01 2021-01-07 Oppo广东移动通信有限公司 点云模型重建方法、编码器、解码器、及存储介质
WO2021000334A1 (zh) * 2019-07-04 2021-01-07 深圳市大疆创新科技有限公司 一种数据编码、数据解码方法、设备及存储介质
CN112262578A (zh) * 2019-03-21 2021-01-22 深圳市大疆创新科技有限公司 点云属性编码方法和装置以及点云属性解码方法和装置
WO2021062743A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 占位信息的预测方法、编码器、解码器、及存储介质
WO2021108970A1 (zh) * 2019-12-02 2021-06-10 Oppo广东移动通信有限公司 点云处理方法、编码器、解码器及存储介质
CN113129393A (zh) * 2020-01-15 2021-07-16 上海交通大学 一种点云数据处理方法及系统
CN113615204A (zh) * 2019-03-20 2021-11-05 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
WO2022121649A1 (zh) * 2020-12-07 2022-06-16 腾讯科技（深圳）有限公司 点云数据编码方法、解码方法、点云数据处理方法及装置、电子设备、计算机程序产品及计算机可读存储介质
WO2022141453A1 (zh) * 2020-12-31 2022-07-07 深圳市大疆创新科技有限公司 点云编解码方法、装置及系统
CN114782564A (zh) * 2022-06-21 2022-07-22 北京大学深圳研究生院 一种点云的压缩方法、装置、电子设备及存储介质
CN115474041A (zh) * 2021-06-11 2022-12-13 腾讯科技（深圳）有限公司 点云属性的预测方法、装置及相关设备
WO2023025024A1 (zh) * 2021-08-23 2023-03-02 维沃移动通信有限公司 点云属性编码方法、点云属性解码方法及终端
US11854207B2 (en) 2019-07-01 2023-12-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Point cloud segmentation method and device, and computer readable storage medium
US11936909B2 (en) 2019-09-30 2024-03-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Prediction method, encoder, decoder, and computer storage medium

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7167147B2 (ja) * 2018-06-13 2022-11-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11741637B2 (en) * 2020-02-10 2023-08-29 Tencent America LLC Node-based geometry and attribute coding for a point cloud
WO2021215811A1 (ko) * 2020-04-24 2021-10-28 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN112581552B (zh) * 2020-12-14 2023-04-07 深圳大学 自适应分块的基于体素的点云压缩方法及装置
CN113096198B (zh) * 2021-03-01 2022-08-30 中山大学 一种双向点云属性预测压缩方法，装置，设备及介质
CN113115077B (zh) * 2021-03-12 2022-04-26 上海交通大学 一种静态点云服务器码率自适应传输方法及系统
CN113284250B (zh) * 2021-06-11 2023-06-30 北京大学深圳研究生院 一种点云的几何编码方法和解码方法及设备
CN114025146B (zh) * 2021-11-02 2023-11-17 浙江工商大学 基于场景流网络与时间熵模型的动态点云几何压缩方法
CN115688004B (zh) * 2022-11-08 2023-09-29 中国民用航空总局第二研究所 一种基于希尔伯特编码的目标属性确定方法、介质及设备
CN117056749B (zh) * 2023-10-12 2024-02-06 深圳市信润富联数字科技有限公司 点云数据处理方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077549A (zh) * 2012-10-24 2013-05-01 华南理工大学 一种基于kd树的实时大规模地形可视化实现方法
US8687686B2 (en) * 2009-04-15 2014-04-01 Electronics And Telecommunications Research Institute 3D contents data encoding/decoding apparatus and method
CN107292935A (zh) * 2017-05-05 2017-10-24 深圳市建设综合勘察设计院有限公司 机载高密度激光点云的压缩方法、存储设备及激光雷达
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
US20170358133A1 (en) * 2016-06-09 2017-12-14 Microsoft Technology Licensing, Llc Adaptive Decimation Using 3D Video Features

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100294927B1 (ko) * 1998-08-29 2001-07-12 윤종용 점진적인 삼차원 메쉬 정보의 부호화 방법 및 그 장치
US7659894B2 (en) * 2000-06-19 2010-02-09 Mental Images Gmbh Terminating spatial partition hierarchies by a priori bounding memory
US8411088B2 (en) * 2000-06-19 2013-04-02 Nvidia Corporation Accelerated ray tracing
US8731313B2 (en) * 2009-03-23 2014-05-20 Level Set Systems, Inc. Method and apparatus for accurate compression and decompression of three-dimensional point cloud data
US9753124B2 (en) * 2009-07-13 2017-09-05 Celartem, Inc. LIDAR point cloud compression
WO2013075316A1 (en) * 2011-11-24 2013-05-30 Microsoft Corporation Interactive multi-modal image search

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8687686B2 (en) * 2009-04-15 2014-04-01 Electronics And Telecommunications Research Institute 3D contents data encoding/decoding apparatus and method
CN103077549A (zh) * 2012-10-24 2013-05-01 华南理工大学 一种基于kd树的实时大规模地形可视化实现方法
US20170358133A1 (en) * 2016-06-09 2017-12-14 Microsoft Technology Licensing, Llc Adaptive Decimation Using 3D Video Features
CN107292935A (zh) * 2017-05-05 2017-10-24 深圳市建设综合勘察设计院有限公司 机载高密度激光点云的压缩方法、存储设备及激光雷达
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257604B (zh) * 2018-11-20 2020-11-27 山东大学 一种基于tmc3点云编码器的颜色属性编码方法
CN109257604A (zh) * 2018-11-20 2019-01-22 山东大学 一种基于tmc3点云编码器的颜色属性编码方法
WO2020119725A1 (zh) * 2018-12-13 2020-06-18 华为技术有限公司 点云编码方法和编码器
US11935269B2 (en) 2018-12-13 2024-03-19 Huawei Technologies Co., Ltd. Point cloud encoding method and encoder
WO2020143005A1 (zh) * 2019-01-10 2020-07-16 深圳市大疆创新科技有限公司 对三维数据点集进行编码或解码的方法和设备
WO2020147021A1 (zh) * 2019-01-15 2020-07-23 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置
US12069316B2 (en) 2019-03-20 2024-08-20 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN113615204A (zh) * 2019-03-20 2021-11-05 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
CN113615204B (zh) * 2019-03-20 2024-02-20 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
CN112262578A (zh) * 2019-03-21 2021-01-22 深圳市大疆创新科技有限公司 点云属性编码方法和装置以及点云属性解码方法和装置
CN109993839B (zh) * 2019-04-09 2022-11-25 北京大学深圳研究生院 一种自适应的点云条带划分方法
CN109993839A (zh) * 2019-04-09 2019-07-09 北京大学深圳研究生院 一种自适应的点云条带划分方法
CN109979008A (zh) * 2019-04-09 2019-07-05 北京大学深圳研究生院 一种基于属性的点云条带划分方法
CN109979008B (zh) * 2019-04-09 2023-04-07 北京大学深圳研究生院 一种基于属性的点云条带划分方法
CN111684808A (zh) * 2019-05-31 2020-09-18 深圳市大疆创新科技有限公司 点云数据的编码方法、编码装置、解码方法与解码装置
CN111699684A (zh) * 2019-06-14 2020-09-22 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置
CN111699684B (zh) * 2019-06-14 2022-05-06 深圳市大疆创新科技有限公司 三维数据点的编解码方法和装置
US11790563B2 (en) 2019-07-01 2023-10-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Point cloud model reconstruction method, encoder, and decoder
WO2021000241A1 (zh) * 2019-07-01 2021-01-07 Oppo广东移动通信有限公司 点云模型重建方法、编码器、解码器、及存储介质
US11854207B2 (en) 2019-07-01 2023-12-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Point cloud segmentation method and device, and computer readable storage medium
CN111699690A (zh) * 2019-07-04 2020-09-22 深圳市大疆创新科技有限公司 点云的处理方法和装置
WO2021000334A1 (zh) * 2019-07-04 2021-01-07 深圳市大疆创新科技有限公司 一种数据编码、数据解码方法、设备及存储介质
WO2021000333A1 (zh) * 2019-07-04 2021-01-07 深圳市大疆创新科技有限公司 点云的处理方法和装置
WO2021062743A1 (zh) * 2019-09-30 2021-04-08 Oppo广东移动通信有限公司 占位信息的预测方法、编码器、解码器、及存储介质
US11936909B2 (en) 2019-09-30 2024-03-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Prediction method, encoder, decoder, and computer storage medium
US11742878B2 (en) 2019-09-30 2023-08-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Occupancy information prediction method, encoder, decoder, and storage medium
WO2021108970A1 (zh) * 2019-12-02 2021-06-10 Oppo广东移动通信有限公司 点云处理方法、编码器、解码器及存储介质
CN113129393A (zh) * 2020-01-15 2021-07-16 上海交通大学 一种点云数据处理方法及系统
CN111289954A (zh) * 2020-03-31 2020-06-16 四川长虹电器股份有限公司 用于毫米波雷达目标跟踪的点云划分与航迹匹配方法
CN111552765A (zh) * 2020-05-19 2020-08-18 北京数字绿土科技有限公司 海量点云空间索引构建方法、装置、构建设备
CN112153381B (zh) * 2020-09-21 2023-05-12 南华大学 动态3d点云压缩帧内cu快速划分方法、设备及介质
CN112153381A (zh) * 2020-09-21 2020-12-29 南华大学 动态3d点云压缩帧内cu快速划分方法、设备及介质
WO2022121649A1 (zh) * 2020-12-07 2022-06-16 腾讯科技（深圳）有限公司 点云数据编码方法、解码方法、点云数据处理方法及装置、电子设备、计算机程序产品及计算机可读存储介质
US12114012B2 (en) 2020-12-07 2024-10-08 Tencent Technology (Shenzhen) Company Limited Point cloud data encoding method, point cloud data decoding method, point cloud data processing method, apparatuses, electronic device, computer program product, and computer-readable storage medium
WO2022141453A1 (zh) * 2020-12-31 2022-07-07 深圳市大疆创新科技有限公司 点云编解码方法、装置及系统
CN115474041B (zh) * 2021-06-11 2023-05-26 腾讯科技（深圳）有限公司 点云属性的预测方法、装置及相关设备
CN115474041A (zh) * 2021-06-11 2022-12-13 腾讯科技（深圳）有限公司 点云属性的预测方法、装置及相关设备
WO2023025024A1 (zh) * 2021-08-23 2023-03-02 维沃移动通信有限公司 点云属性编码方法、点云属性解码方法及终端
CN114782564A (zh) * 2022-06-21 2022-07-22 北京大学深圳研究生院 一种点云的压缩方法、装置、电子设备及存储介质
CN114782564B (zh) * 2022-06-21 2022-09-09 北京大学深圳研究生院 一种点云的压缩方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108632621B (zh) 2019-07-02
US11004240B2 (en) 2021-05-11
WO2019213985A1 (zh) 2019-11-14
US20200151915A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
CN108632621B (zh) 一种基于层次划分的点云属性压缩方法
CN108833927B (zh) 一种基于删除量化矩阵中0元素的点云属性压缩方法
CN108632607B (zh) 一种基于多角度自适应帧内预测的点云属性压缩方法
CN108335335B (zh) 一种基于增强图变换的点云属性压缩方法
WO2019153326A1 (zh) 一种基于帧内预测的点云属性压缩方法
US10552989B2 (en) Point cloud attribute compression method based on KD tree and optimized graph transformation
CN104811707B (zh) 对视频进行解码的设备
CN102948145B (zh) 基于根据树结构确定的编码单元的视频编码方法和视频编码设备以及基于根据树结构确定的编码单元的视频解码方法和视频解码设备
CN110418135A (zh) 一种基于邻居的权重优化的点云帧内预测方法及设备
CN112218079A (zh) 一种基于空间顺序的点云分层方法、点云预测方法及设备
US9819964B2 (en) Limited error raster compression
CN104715496B (zh) 云环境下基于三维点云模型的图像预测方法、系统及装置
CN107465930A (zh) 对视频进行编码的方法和设备以及计算机可读存储介质
CN103927746B (zh) 一种三维网格序列的配准及压缩方法
CN113034627B (zh) 基于几何重排的虚拟结构光3d点云压缩方法
CN112256652B (zh) 一种三维点云属性压缩方法、系统及终端
CN103546747B (zh) 一种基于彩色视频编码模式的深度图序列分形编码方法
WO2023174337A1 (zh) 编码、解码方法、装置及设备
CN117319683A (zh) 基于纹理驱动的图稀疏度优化的点云属性压缩方法
CN104715495B (zh) 基于用户指定误差精度的三维模型传输方法
CN116800972A (zh) 编码、解码方法、装置及设备
CN117321996A (zh) 帧内预测、编解码方法及装置、编解码器、设备、介质
CN116941242A (zh) 帧内预测方法及装置、编解码器、设备、存储介质
Hao et al. Mesh Connectivity Compression for Progressive-to-Lossless Transmission

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant