CN109257604B - 一种基于tmc3点云编码器的颜色属性编码方法 - Google Patents

一种基于tmc3点云编码器的颜色属性编码方法 Download PDF

Info

Publication number
CN109257604B
CN109257604B CN201811381493.2A CN201811381493A CN109257604B CN 109257604 B CN109257604 B CN 109257604B CN 201811381493 A CN201811381493 A CN 201811381493A CN 109257604 B CN109257604 B CN 109257604B
Authority
CN
China
Prior art keywords
point
point cloud
points
color
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811381493.2A
Other languages
English (en)
Other versions
CN109257604A (zh
Inventor
元辉
刘昊
刘祺
王韦韦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201811381493.2A priority Critical patent/CN109257604B/zh
Publication of CN109257604A publication Critical patent/CN109257604A/zh
Application granted granted Critical
Publication of CN109257604B publication Critical patent/CN109257604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及一种基于TMC3点云编码器的颜色属性编码方法，本发明依据TMC3流程，用八叉树结构对位置信息进行编码，同时保留编码的顺序；之后，计算出位置信息的质心，并采用kd‑tree找到距离质心最近的点作为细节层(LoD)生成过程中的第一个点。把近似的颜色值与经过预测的颜色信息进行差分编码。该方法利用了从质心开始预测会使近似的颜色值与预测的颜色的差值变小特点来降低颜色信息编码码率。实验结果表明在色度信息处理上，本发明比TMC3取得了更好的效果。

Description

一种基于TMC3点云编码器的颜色属性编码方法
技术领域
本发明涉及一种基于TMC3点云编码器的颜色属性编码方法，属于图像处理技术领域。
背景技术
三维点云数据已经开始普及到各个领域，例如，虚拟/增强现实、机器人、地理信息系统、医学领域等。随着三维点云数据的发展和三维点云数据扫描设备(比如激光雷达，Kinect体感相机)的基准度和速率的不断提升，人们可以准确地获取物体表面的大量点云数据，往往一个场景下的点云数据就可以包括几十万个点。数量如此庞大的点云数据也给计算机的存储和传输带来了挑战。因此，对三维点云数据的压缩也就成为一个热点问题。
对于三维点云数据来说，在压缩领域，目前主要处理它的位置信息(X,Y,Z)和颜色信息(R,G,B)。对于位置信息的压缩，一般是用基于八叉树的编码方式来减少空间冗余。对于颜色信息的压缩，则可以通过三维到二维的映射关系，先把点云的颜色属性映射到二维空间，然后用二维的图像压缩方式进行压缩，也可以直接在三维数据上通过DCT变换，图变换等方式进行压缩。
近几年，为了促进三维点云数据压缩技术的标准化，MPEG(Moving PicturesExperts Group)提出了基于点云库(Point Cloud Library)的多帧点云编码器。之后，在2017年MPEG又提出了3种新的点云压缩方案，分别称为TMC1、TMC2、TMC3。其中，TMC3编码器通过对三维点云的位置信息进行八叉树编码；同时，根据八叉树编码后的位置信息对颜色信息进行预测，再通过与原始颜色信息进行做差的方式来编码颜色信息，从而达到很好的编码效果。
在颜色信息编码上，TMC3通过kd-tree首先找到每个点的K个临近点，通过计算当前点与K个临近点的颜色信息得到当前点的颜色预测值，随后把颜色预测值与真实值进行差分算数编码，进而完成对颜色信息的处理。通过对比试验发现，TMC3编码器在用基于八叉树的位置信息进行颜色预测的过程中，每次都是采用八叉树包围盒内位置坐标值最小的点作为预测起始点。由于属性信息是用差分编码进行，所以第一个预测点的选取对差分编码的性能尤为重要，即TMC3这种选取预测起始点的方式不是很有效。
发明内容
针对现有技术中TMC3编码器存在的非最佳预测起始点的不足，本发明提供了一种基于TMC3点云编码器的颜色属性编码方法；
术语解释：
1、八叉树(Octree)：若不为空树的话，树中任一节点的子节点恰好只会有八个，或零个，也就是子节点不会有0与8以外的数目。
2、kd-tree，k-d树(k-dimensional树的简称)，是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索(如:范围搜索和最近邻搜索)。
本发明的技术方案为：
一种基于TMC3点云编码器的颜色属性编码方法，运行于所述TMC3点云编码器，所述TMC3点云编码器包括编码端与解码端，所述编码端连接所述解码端，包括步骤如下：
A、在编码端执行步骤(1)至(7)，包括：
(1)量化点云的位置信息；
(2)去重合点，将重复的点删除；由于不同的位置信息在量化后可能会对应相同的量化结果。因此，需要去重操作，将重复的点删除。
(3)对量化去重后的点云的位置信息进行八叉树位置信息编码；
(4)确定量化后颜色信息；
(5)确定质心点，找到步骤(3)经过八叉树位置信息编码后的点云的质心点Pcentroid；注意该质心位置不一定存在数据点。在经过八叉树编码后的点云中，通过kd-tree搜索找到距离质心点Pcentroid最近的点Pc，并把点Pc作为LOD生成过程中的初始预测点，LOD是指细节层，质心点Pcentroid的计算公式如式(Ⅰ)所示：
Figure GDA0002708413110000021
式(Ⅰ)中，
Figure GDA0002708413110000022
为量化后(或原始)点的位置信息，Nrec为量化后的点云个数(或原始点云个数)；
(6)生成LOD(level of detail，细节层)；LOD生成的过程其实是点云根据欧式距离的一次重新排序过程。在LOD生成的过程中，把点Pc作为LOD生成过程中的初始点，在LOD生成过程中，每个层(level)通过使用者设定的不同大小的点到点的空间距离dl重新排序点，l＝0，…，L-1，同时必须满足dl+1<dl并且dL-1＝0；L是指细节层的层数；
(7)基于LOD的颜色信息预测与差值编码，得到压缩后的码流；
B、在解码端执行步骤(8)至(12)，包括：
(8)解析码流，并解码出经过八叉树编码的位置信息；
(9)计算整个点云的质心Pcentroid_res，如式(Ⅱ)所示：
Figure GDA0002708413110000023
式(Ⅱ)中，M为解码出的点云总数，
Figure GDA0002708413110000024
为经过八叉树结构解码出的每个点的位置信息；并利用kd-tree找到解码出的点云中距离计算得到的质心Pcentroid_res最近的那个点Pc；
(10)生成LOD；每个层(level)通过使用者设定的不同大小的点到点的空间距离dl重新排序点，l＝0，…，L-1，同时必须满足dl+1<dl并且dL-1＝0；
(11)生成颜色信息
(12)解析码流，在编码端只有第一个点的颜色信息是被完全编码的，其他点都编码的颜色信息的差值。所以，在解码的时候，先解出第一个点的颜色信息，根据步骤(6)LOD生成过程的预测，根据解码出的颜色差值，按照LOD的顺序渐进式地解码出所有点的颜色信息，从而得到压缩后的点云，解码结束。
进一步优选的，所述步骤(1)中，量化点云的位置信息，包括：
a、导入点云数据，同时找到整个点云数据中位置信息(x，y，z)三个分量最小的分量，组成最小点：Xmin＝(min(xi),min(yi),min(zi))，i＝0，…，N-1，(xi，yi，zi)表示第i个点的位置信息，N是原始点云中点的个数；
b、被量化的点云数据由式(III)得到：
Figure GDA0002708413110000031
式(III)中，s表示量化步长，Xi表示每个要被量化的点云数据，Xmin是步骤①中找到的全局最小点，
Figure GDA0002708413110000032
表示被量化后的点。
进一步优选的，所述步骤(3)中，八叉树位置信息编码，包括：
c、根据三维坐标系建立一个立方体包围盒B用来包住整个点云数据，立方体包围盒B的最小值为(0,0,0)，最大值(2n,2n,2n)，n是满足式(Ⅳ)的最小整数值，
Figure GDA0002708413110000033
式(Ⅳ)中，i＝0…N-1；
Figure GDA0002708413110000034
是指xi被量化后的点，
Figure GDA0002708413110000035
是指yi被量化后的点，
Figure GDA0002708413110000036
是指zi被量化后的点；
d、根据建立好的立方体包围盒B，用八叉树结构进行空间划分，每划分一次，每个立方体被划分成8个小立方体，同时，用1记录有数据点小立方体，用0记录空的小立方体，有数据点小立方体被继续划分，直至划分到每个小立方体内最多只有一个点时，停止划分。
进一步优选的，所述步骤(4)中，确定量化后颜色信息，包括：
e、由于位置信息量化后，无法确定量化后的位置信息对应的原始颜色信息，因此需要进行颜色的确定，并使其与量化前的误差最小。定义原始点云数据为Xi，i＝0，…，N-1，量化后的点云数据为
Figure GDA0002708413110000041
N是原始点云中点的个数，Nrec为量化后的点云个数；
f、对于量化后的点云数据
Figure GDA0002708413110000042
通过对原始点云建立kd-tree，把
Figure GDA0002708413110000043
作为kd-tree的查询点找到在原始点云中距离它最近的点
Figure GDA0002708413110000044
其颜色属性是
Figure GDA0002708413110000045
g、对量化后的点云数据建立kd-tree，把原始点云中的每个点Xi作为查询点，找到距离查询点最近的量化后的点，这时找到的点的个数可能是0个，可能1个，也可能是多个，找到的点的个数用集合来表示：
Figure GDA0002708413110000046
H(i)是集合中点的数目，h∈{1,…,H(i)}，
Figure GDA0002708413110000047
是找到的最近点；
h、如果集合
Figure GDA0002708413110000048
为空，那么量化后点云的颜色属性就是
Figure GDA0002708413110000049
如果集合
Figure GDA00027084131100000410
非空，那么根据式(Ⅴ)计算出一个虚的颜色属性值
Figure GDA00027084131100000411
Figure GDA00027084131100000412
式(Ⅴ)中，
Figure GDA00027084131100000413
是集合中
Figure GDA00027084131100000414
点的颜色属性值；
最终量化后点的颜色信息
Figure GDA00027084131100000415
由式(Ⅵ)得出：
Figure GDA00027084131100000416
式(Ⅵ)中，权重值w通过把上式中的
Figure GDA00027084131100000417
带入最小损失函数C(i)并使C(i)的值最小而得到，C(i)的计算公式如式(Ⅶ)所示：
Figure GDA00027084131100000418
进一步优选的，所述步骤(6)中，生成LOD，包括：
i、把所有的点标记为未遍历的点，定义一个集合V,该集合内存储被遍历过的点，在算法开始的时候，V是空集；
j、把点Pc作为V中的初始点，在之后的遍历中，如果当前点被遍历，并且当前点到集合V中的点的距离大于当前level设定的dl，那么，该点加入到集合V中，以后就不再遍历该点；否则，就不加入集合中，等待下一个层的遍历；
k、一直执行步骤j，直至所有点都被加入到集合V中。
进一步优选的，所述步骤(7)中，基于LOD的颜色信息预测与差值编码，包括：
l、根据LOD的顺序进行颜色信息预测，编码和解码端都是渐进式的，只有当前已编码过的点才能被用来预测。假设当前需要预测颜色的点是
Figure GDA00027084131100000419
预测过程根据
Figure GDA00027084131100000420
在LOD的位置，在已经编码的LOD中用欧氏距离找到
Figure GDA00027084131100000421
的K个最近邻的集合
Figure GDA00027084131100000422
预测的颜色信息
Figure GDA00027084131100000423
如式(Ⅷ)所示：
Figure GDA0002708413110000051
式(Ⅷ)中，
Figure GDA0002708413110000052
为每个近邻的颜色属性值，δj为每个近邻到
Figure GDA0002708413110000053
的距离；
m、对步骤(4)中量化后点的颜色信息
Figure GDA0002708413110000054
与预测出来的颜色
Figure GDA0002708413110000055
的差值进行编码；最终编码的颜色差值信号为：
Figure GDA0002708413110000056
n、把得到的颜色差值进行算术编码。
进一步优选的，所述步骤(10)中，生成LOD，包括：
①把所有的点标记为未遍历的点，定义一个集合V,该集合内存储被遍历过的点，在算法开始的时候，V是空集；
②把Pc作为V中的初始点，在之后的遍历中，如果当前点被遍历，并且当前点到集合V中的点的距离大于当前level设定的dl，那么，该点就加入到集合V中，以后就不再遍历该点；否则，就不加入集合中，等待下一个层(level)的遍历；
③一直执行步骤②，直至所有点都被加入到集合V中。
本发明的有益效果为：
本发明利用质心的色度信息更有可能接近于整体的颜色信息的特性，通过把点云质心当做TMC3编码器初始预测点，在点云失真相同的情况下，获得了更低的编码码率，使得解码端可以在更小的存储空间下得到与原始TMC3编码器同样的解码效果。
附图说明
图1是本发明在编码端的流程示意图；
图2是本发明在解码端的流程示意图；
图3是质心提取示意图；
图4(a)是本发明点云序列Andrew进行编码得到的与TMC3原始编码器率失真曲线比较示意图；
图4(b)是本发明对点云序列Soldier_vox10_0690进行编码得到的与TMC3原始编码器率失真曲线比较示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例
一种基于TMC3点云编码器的颜色属性编码方法，运行于所述TMC3点云编码器，所述TMC3点云编码器包括编码端与解码端，所述编码端连接所述解码端，包括步骤如下：
A、在编码端执行步骤(1)至(7)，如图1所示，包括：
(1)量化点云的位置信息；，包括：
a、导入点云数据，同时找到整个点云数据中位置信息(x，y，z)三个分量最小的分量，组成最小点：Xmin＝(min(xi),min(yi),min(zi))，i＝0…N-1，(xi，yi，zi)表示第i个点的位置信息，N是原始点云中点的个数；
b、被量化的点云数据由式(III)得到：
Figure GDA0002708413110000061
式(III)中，s表示量化步长，Xi表示每个要被量化的点云数据，Xmin是步骤①中找到的全局最小点，
Figure GDA0002708413110000062
表示被量化后的点。
(2)去重合点，将重复的点删除；由于不同的位置信息在量化后可能会对应相同的量化结果。因此，需要去重操作，将重复的点删除。
(3)对量化去重后的点云的位置信息进行八叉树位置信息编码；包括：
c、根据三维坐标系建立一个立方体包围盒B用来包住整个点云数据，立方体包围盒B的最小值为(0,0,0)，最大值(2n,2n,2n)，n是满足式(Ⅳ)的最小整数值，
Figure GDA0002708413110000063
式(Ⅳ)中，i＝0…N-1；
Figure GDA0002708413110000064
是指xi被量化后的点，
Figure GDA0002708413110000065
是指yi被量化后的点，
Figure GDA0002708413110000066
是指zi被量化后的点；
d、根据建立好的立方体包围盒B，用八叉树结构进行空间划分，每划分一次，每个立方体被划分成8个小立方体，同时，用1记录有数据点小立方体，用0记录空的小立方体，有数据点小立方体被继续划分，直至划分到每个小立方体内最多只有一个点时，停止划分。
(4)确定量化后颜色信息；包括：
e、由于位置信息量化后，无法确定量化后的位置信息对应的原始颜色信息，因此需要进行颜色的确定，并使其与量化前的误差最小。定义原始点云数据为Xi，i＝0，…，N-1，量化后的点云数据为
Figure GDA0002708413110000067
N是原始点云中点的个数，Nrec为量化后的点云个数；
f、对于量化后的点云数据通过对原始点云建立kd-tree，把
Figure GDA0002708413110000069
作为kd-tree的查询点找到在原始点云中距离它最近的点
Figure GDA00027084131100000610
其颜色属性是
Figure GDA00027084131100000611
g、对量化后的点云数据建立kd-tree，把原始点云中的每个点Xi作为查询点，找到距离查询点最近的量化后的点，这时找到的点的个数可能是0个，可能1个，也可能是多个，找到的点的个数用集合来表示：
Figure GDA0002708413110000071
H(i)是集合中点的数目，h∈{1,…,H(i)}，
Figure GDA0002708413110000072
是找到的最近点；
h、如果集合
Figure GDA0002708413110000073
为空，那么量化后点云的颜色属性就是
Figure GDA0002708413110000074
如果集合
Figure GDA0002708413110000075
非空，那么根据式(Ⅴ)计算出一个虚的颜色属性值
Figure GDA0002708413110000076
Figure GDA0002708413110000077
式(Ⅴ)中，
Figure GDA0002708413110000078
是集合中
Figure GDA0002708413110000079
点的颜色属性值；
最终量化后点的颜色信息
Figure GDA00027084131100000710
由式(Ⅵ)得出：
Figure GDA00027084131100000711
式(Ⅵ)中，权重值w通过把上式中的
Figure GDA00027084131100000712
带入最小损失函数C(i)并使C(i)的值最小而得到，C(i)的计算公式如式(Ⅶ)所示：
Figure GDA00027084131100000713
(5)确定质心点，如图3所示，找到步骤(3)经过八叉树位置信息编码后的点云的质心点Pcentroid；注意该质心位置不一定存在数据点。在经过八叉树编码后的点云中，通过kd-tree搜索找到距离质心点Pcentroid最近的点Pc，并把点Pc作为LOD生成过程中的初始预测点，LOD是指细节层，质心点Pcentroid的计算公式如式(Ⅰ)所示：
Figure GDA00027084131100000714
式(Ⅰ)中，
Figure GDA00027084131100000715
为量化后(或原始)点的位置信息，Nrec为量化后的点云个数(或原始点云个数)；
(6)生成LOD(level of detail，细节层)；LOD生成的过程其实是点云根据欧式距离的一次重新排序过程。在LOD生成的过程中，把点Pc作为LOD生成过程中的初始点，在LOD生成过程中，每个层(level)通过使用者设定的不同大小的点到点的空间距离dl重新排序点，l＝0，…，L-1，同时必须满足dl+1<dl并且dL-1＝0；L是指细节层的层数；包括：
i、把所有的点标记为未遍历的点，定义一个集合V,该集合内存储被遍历过的点，在算法开始的时候，V是空集；
j、把点Pc作为V中的初始点，在之后的遍历中，如果当前点被遍历，并且当前点到集合V中的点的距离大于当前level设定的dl，那么，该点加入到集合V中，以后就不再遍历该点；否则，就不加入集合中，等待下一个层的遍历；
k、一直执行步骤j，直至所有点都被加入到集合V中。
(7)基于LOD的颜色信息预测与差值编码，得到压缩后的码流；包括：
l、根据LOD的顺序进行颜色信息预测，编码和解码端都是渐进式的，只有当前已编码过的点才能被用来预测。假设当前需要预测颜色的点是
Figure GDA0002708413110000081
预测过程根据
Figure GDA0002708413110000082
在LOD的位置，在已经编码的LOD中用欧氏距离找到
Figure GDA0002708413110000083
的K个最近邻的集合
Figure GDA0002708413110000084
预测的颜色信息
Figure GDA0002708413110000085
如式(Ⅷ)所示：
Figure GDA0002708413110000086
式(Ⅷ)中，
Figure GDA0002708413110000087
为每个近邻的颜色属性值，δj为每个近邻到
Figure GDA0002708413110000088
的距离；
m、对步骤(4)中量化后点的颜色信息
Figure GDA0002708413110000089
与预测出来的颜色
Figure GDA00027084131100000810
的差值进行编码；最终编码的颜色差值信号为：
Figure GDA00027084131100000811
n、把得到的颜色差值进行算术编码。
B、在解码端执行步骤(8)至(12)，如图2所示，包括：
(8)解析码流，并解码出经过八叉树编码的位置信息；
(9)计算整个点云的质心Pcentroid_res，如式(Ⅱ)所示：
Figure GDA00027084131100000812
式(Ⅱ)中，M为解码出的点云总数，
Figure GDA00027084131100000813
为经过八叉树结构解码出的每个点的位置信息；并利用kd-tree找到解码出的点云中距离计算得到的质心Pcentroid_res最近的那个点Pc；
(10)生成LOD；每个层(level)通过使用者设定的不同大小的点到点的空间距离dl重新排序点，l＝0，…，L-1，同时必须满足dl+1<dl并且dL-1＝0；包括：
①把所有的点标记为未遍历的点，定义一个集合V,该集合内存储被遍历过的点，在算法开始的时候，V是空集；
②把Pc作为V中的初始点，在之后的遍历中，如果当前点被遍历，并且当前点到集合V中的点的距离大于当前level设定的dl，那么，该点就加入到集合V中，以后就不再遍历该点；否则，就不加入集合中，等待下一个层(level)的遍历；
③一直执行步骤②，直至所有点都被加入到集合V中。
(11)生成颜色信息
(12)解析码流，在编码端只有第一个点的颜色信息是被完全编码的，其他点都编码的颜色信息的差值。所以，在解码的时候，先解出第一个点的颜色信息，根据步骤(6)LOD生成过程的预测，根据解码出的颜色差值，按照LOD的顺序渐进式地解码出所有点的颜色信息，从而得到压缩后的点云，解码结束。
本实施例还测试了在不同的量化参数的条件下，采用本发明编码后颜色信息码率和重建视频的客观质量PSNR。4(a)、图4(b)比较了本发明和原始TMC3编码器对颜色信息编码后的率失真曲线。图4(a)是点云序列Andrew进行编码的实验结果，图4(b)是对点云序列Soldier_vox10_0690进行编码的实验结果。如图4(a)、图4(b)所示，对点云序列Andrew而言，编码码率平均下降1.80％，对点云序列Soldier_vox10_0690而言，编码码率平均下降0.63％。由图4(a)、图4(b)可见，与原始TMC3编码器相比，在重建视频的客观质量相同的条件下，本发明的编码码率更低，说明本发明提高了对点云序列的编码效率。

Claims (5)

1.一种基于TMC3点云编码器的颜色属性编码方法，运行于所述TMC3点云编码器，所述TMC3点云编码器包括编码端与解码端，所述编码端连接所述解码端，其特征在于，包括步骤如下：
A、在编码端执行步骤(1)至(7)，包括：
(1)量化点云的位置信息；
(2)去重合点，将重复的点删除；
(3)对量化去重后的点云的位置信息进行八叉树位置信息编码；
(4)确定量化后颜色信息；包括：
e、定义原始点云数据为Xi，i＝0，...，N-1，量化后的点云数据为
Figure FDA0002708413100000011
Figure FDA0002708413100000012
N是原始点云中点的个数，Nrec为量化后的点云个数；
f、对于量化后的点云数据
Figure FDA0002708413100000013
通过对原始点云建立kd-tree，把
Figure FDA0002708413100000014
作为kd-tree的查询点找到在原始点云中距离它最近的点
Figure FDA0002708413100000015
其颜色属性是
Figure FDA0002708413100000016
g、对量化后的点云数据建立kd-tree，把原始点云中的每个点Xi作为查询点，找到距离查询点最近的量化后的点，找到的点的个数用集合来表示：
Figure FDA0002708413100000017
H(i)是集合中点的数目，h∈{1，...，H(i)}，
Figure FDA0002708413100000018
是找到的最近点；
h、如果集合
Figure FDA0002708413100000019
为空，那么量化后点云的颜色属性就是
Figure FDA00027084131000000110
如果集合
Figure FDA00027084131000000111
非空，那么根据式(V)计算出一个虚的颜色属性值
Figure FDA00027084131000000112
Figure FDA00027084131000000113
式(V)中，
Figure FDA00027084131000000114
是集合中
Figure FDA00027084131000000115
点的颜色属性值；
最终量化后点的颜色信息
Figure FDA00027084131000000116
由式(VI)得出：
Figure FDA00027084131000000117
式(VI)中，权重值w通过把上式中的
Figure FDA00027084131000000118
带入最小损失函数C(i)并使C(i)的值最小而得到，C(i)的计算公式如式(VII)所示：
Figure FDA00027084131000000119
(5)确定质心点，找到步骤(3)经过八叉树位置信息编码后的点云的质心点Pcentroid；在经过八叉树编码后的点云中，通过kd-tree搜索找到距离质心点Pcentroid最近的点Pc，并把点Pc作为LOD生成过程中的初始预测点，LOD是指细节层，质心点Pcentroid的计算公式如式(I)所示：
Figure FDA0002708413100000021
式(I)中，
Figure FDA0002708413100000022
为量化后点的位置信息，Nrec为量化后的点云个数；
(6)生成LOD；在LOD生成的过程中，把点Pc作为LOD生成过程中的初始点，在LOD生成过程中，每个层通过使用者设定的不同大小的点到点的空间距离dl重新排序点，l＝0，...，L-1，同时必须满足dl+1＜dl并且dL-1＝0；L是指细节层的层数；
(7)基于LOD的颜色信息预测与差值编码，得到压缩后的码流；包括：
I、根据LOD的顺序进行颜色信息预测，假设当前需要预测颜色的点是
Figure FDA0002708413100000023
预测过程根据
Figure FDA0002708413100000024
在LOD的位置，在已经编码的LOD中用欧氏距离找到
Figure FDA0002708413100000025
的K个最近邻的集合
Figure FDA0002708413100000026
预测的颜色信息
Figure FDA0002708413100000027
如式(VIII)所示：
Figure FDA0002708413100000028
式(VIII)中，
Figure FDA0002708413100000029
为每个近邻的颜色属性值，δj为每个近邻到
Figure FDA00027084131000000210
的距离；
m、对步骤(4)中量化后点的颜色信息
Figure FDA00027084131000000211
与预测出来的颜色
Figure FDA00027084131000000212
的差值进行编码；最终编码的颜色差值信号为：
Figure FDA00027084131000000213
n、把得到的颜色差值进行算术编码；
B、在解码端执行步骤(8)至(12)，包括：
(8)解析码流，并解码出经过八叉树编码的位置信息；
(9)计算整个点云的质心Pcentroid_res，如式(II)所示：
Figure FDA00027084131000000214
式(II)中，M为解码出的点云总数，
Figure FDA00027084131000000215
为经过八叉树结构解码出的每个点的位置信息；并利用kd-tree找到解码出的点云中距离计算得到的质心Pcentroid_res最近的那个点Pc；
(10)生成LOD；每个层通过使用者设定的不同大小的点到点的空间距离dl重新排序点，l＝0...L-1，同时必须满足dl+1＜dl并且dL-1＝0；
(11)生成颜色信息；
(12)解析码流，先解出第一个点的颜色信息，根据步骤(6)LOD生成过程的预测，根据解码出的颜色差值，按照LOD的顺序渐进式地解码出所有点的颜色信息，从而得到压缩后的点云，解码结束。
2.根据权利要求1所述的一种基于TMC3点云编码器的颜色属性编码方法，其特征在于，所述步骤(1)中，量化点云的位置信息，包括：
a、导入点云数据，同时找到整个点云数据中位置信息(x，y，z)三个分量最小的分量，组成最小点：Xmin＝(min(xi)，min(yi)，min(zi))，i＝0...N-1，(xi，yi，zi)表示第i个点的位置信息，N是原始点云中点的个数；
b、被量化的点云数据由式(III)得到：
Figure FDA0002708413100000031
式(III)中，s表示量化步长，Xi表示每个要被量化的点云数据，Xmin是步骤a中找到的全局最小点，
Figure FDA0002708413100000032
表示被量化后的点。
3.根据权利要求2所述的一种基于TMC3点云编码器的颜色属性编码方法，其特征在于，所述步骤(3)中，八叉树位置信息编码，包括：
c、根据三维坐标系建立一个立方体包围盒B用来包住整个点云数据，立方体包围盒B的最小值为(0，0，0)，最大值(2n，2n，2n)，n是满足式(IV)的最小整数值，
Figure FDA0002708413100000033
式(IV)中，i＝0...N-1；
Figure FDA0002708413100000034
是指xi被量化后的点，
Figure FDA0002708413100000035
是指yi被量化后的点，
Figure FDA0002708413100000036
是指zi被量化后的点；
d、根据建立好的立方体包围盒B，用八叉树结构进行空间划分，每划分一次，每个立方体被划分成8个小立方体，同时，用1记录有数据点小立方体，用0记录空的小立方体，有数据点小立方体被继续划分，直至划分到每个小立方体内最多只有一个点时，停止划分。
4.根据权利要求1所述的一种基于TMC3点云编码器的颜色属性编码方法，其特征在于，所述步骤(6)中，生成LOD，包括：
i、把所有的点标记为未遍历的点，定义一个集合V，该集合内存储被遍历过的点，在算法开始的时候，V是空集；
j、把点Pc作为V中的初始点，在之后的遍历中，如果当前点被遍历，并且当前点到集合V中的点的距离大于当前level设定的dl，那么，该点加入到集合V中，以后不再遍历该点；否则，不加入集合中，等待下一个层的遍历；
k、一直执行步骤j，直至所有点都被加入到集合V中。
5.根据权利要求1-4任一所述的一种基于TMC3点云编码器的颜色属性编码方法，其特征在于，所述步骤(10)中，生成LOD，包括：
①把所有的点标记为未遍历的点，定义一个集合V，该集合内存储被遍历过的点，在算法开始的时候，V是空集；
②把Pc作为V中的初始点，在之后的遍历中，如果当前点被遍历，并且当前点到集合V中的点的距离大于当前level设定的dl，那么，该点就加入到集合V中，以后就不再遍历该点；否则，就不加入集合中，等待下一个层的遍历；
③一直执行步骤②，直至所有点都被加入到集合V中。
CN201811381493.2A 2018-11-20 2018-11-20 一种基于tmc3点云编码器的颜色属性编码方法 Active CN109257604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811381493.2A CN109257604B (zh) 2018-11-20 2018-11-20 一种基于tmc3点云编码器的颜色属性编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811381493.2A CN109257604B (zh) 2018-11-20 2018-11-20 一种基于tmc3点云编码器的颜色属性编码方法

Publications (2)

Publication Number Publication Date
CN109257604A CN109257604A (zh) 2019-01-22
CN109257604B true CN109257604B (zh) 2020-11-27

Family

ID=65043603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811381493.2A Active CN109257604B (zh) 2018-11-20 2018-11-20 一种基于tmc3点云编码器的颜色属性编码方法

Country Status (1)

Country Link
CN (1) CN109257604B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11120581B2 (en) * 2019-03-01 2021-09-14 Tencent America LLC Method and apparatus for point cloud compression
WO2020187191A1 (zh) * 2019-03-19 2020-09-24 华为技术有限公司 点云编解码方法及编解码器
KR20210134049A (ko) * 2019-03-20 2021-11-08 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN109889840B (zh) * 2019-03-20 2022-11-22 北京大学深圳研究生院 点云编码和解码的方法、编码设备和解码设备
WO2020248187A1 (zh) * 2019-06-13 2020-12-17 深圳市大疆创新科技有限公司 一种点云编码方法、点云解码方法及相关设备
JP7440546B2 (ja) * 2019-07-01 2024-02-28 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ処理装置及び方法
EP3996044A4 (en) * 2019-07-02 2023-05-10 LG Electronics Inc. METHOD AND APPARATUS FOR PROCESSING POINT CLOUD DATA
CN112188199B (zh) * 2019-07-03 2024-05-10 腾讯美国有限责任公司 自适应点云属性编码的方法、装置、电子设备和存储介质
KR20220029595A (ko) * 2019-07-03 2022-03-08 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 포인트 클라우드 인코딩과 디코딩 방법, 인코더, 디코더 및 컴퓨터 저장 매체
WO2021000334A1 (zh) * 2019-07-04 2021-01-07 深圳市大疆创新科技有限公司 一种数据编码、数据解码方法、设备及存储介质
WO2021003726A1 (zh) * 2019-07-10 2021-01-14 深圳市大疆创新科技有限公司 一种数据编码、数据解码方法、设备及存储介质
WO2021025392A1 (ko) * 2019-08-02 2021-02-11 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법
CN110572655B (zh) * 2019-09-30 2023-01-10 北京大学深圳研究生院 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备
CN110418135B (zh) * 2019-08-05 2022-05-27 北京大学深圳研究生院 一种基于邻居的权重优化的点云帧内预测方法及设备
CN110533645A (zh) * 2019-08-23 2019-12-03 上海交通大学 基于视觉任务的点云数据压缩质量评价方法及系统
EP4040790A4 (en) 2019-09-30 2022-10-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. PREDICTION METHOD, ENCODER, DECODER AND COMPUTER STORAGE MEDIUM
EP4040683A4 (en) 2019-09-30 2022-11-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. OCCUPANCY INFORMATION PREDICTION METHOD, ENCODER, DECODER AND STORAGE MEDIA
CN114820831A (zh) 2019-09-30 2022-07-29 Oppo广东移动通信有限公司 划分方法、编码器、解码器以及计算机存储介质
WO2021066626A1 (en) * 2019-10-03 2021-04-08 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN114503586A (zh) * 2019-10-03 2022-05-13 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
US11682144B2 (en) * 2019-10-06 2023-06-20 Tencent America LLC Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
WO2021138786A1 (zh) * 2020-01-06 2021-07-15 Oppo广东移动通信有限公司 一种最近邻搜索方法及装置、设备、存储介质
WO2022067790A1 (zh) * 2020-09-30 2022-04-07 Oppo广东移动通信有限公司 一种点云分层方法及解码器、编码器、存储介质
CN116097650A (zh) * 2020-09-30 2023-05-09 Oppo广东移动通信有限公司 一种点云数据的层次划分方法、编码器及存储介质
CN112256652B (zh) * 2020-10-19 2022-09-16 济南大学 一种三维点云属性压缩方法、系统及终端
CN112509107B (zh) * 2020-12-03 2024-02-20 西安电子科技大学 一种点云属性重着色方法、装置及编码器
CN115412715B (zh) * 2021-05-26 2024-03-26 荣耀终端有限公司 一种点云属性信息的预测编解码方法及装置
CN115474059A (zh) * 2021-06-11 2022-12-13 维沃移动通信有限公司 点云编码方法、解码方法及装置
CN114492619B (zh) * 2022-01-22 2023-08-01 电子科技大学 一种基于统计和凹凸性的点云数据集构建方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484882A (zh) * 2014-12-24 2015-04-01 哈尔滨工业大学 一种基于机载LiDAR数据的城市区域电力线检测方法
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
CN108632621A (zh) * 2018-05-09 2018-10-09 北京大学深圳研究生院 一种基于层次划分的点云属性压缩方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484882A (zh) * 2014-12-24 2015-04-01 哈尔滨工业大学 一种基于机载LiDAR数据的城市区域电力线检测方法
CN107403456A (zh) * 2017-07-28 2017-11-28 北京大学深圳研究生院 一种基于kd树和优化图变换的点云属性压缩方法
CN108632621A (zh) * 2018-05-09 2018-10-09 北京大学深圳研究生院 一种基于层次划分的点云属性压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《点云数据的k近邻快速建立改进算法》;安雁艳等;《计算机工程与设计》;20141231;第35卷(第12期);全文 *

Also Published As

Publication number Publication date
CN109257604A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN109257604B (zh) 一种基于tmc3点云编码器的颜色属性编码方法
CN110572655B (zh) 一种基于邻居权重的参数选取和传递的点云属性编码和解码的方法及设备
CN110418135B (zh) 一种基于邻居的权重优化的点云帧内预测方法及设备
CN111953998B (zh) 基于dct变换的点云属性编码及解码方法、装置及系统
JP7330306B2 (ja) 変換方法、逆変換方法、エンコーダ、デコーダ及び記憶媒体
WO2019153326A1 (zh) 一种基于帧内预测的点云属性压缩方法
Daribo et al. Efficient rate-distortion compression of dynamic point cloud for grid-pattern-based 3D scanning systems
JP2002541738A (ja) 画像圧縮
He et al. Best-effort projection based attribute compression for 3D point cloud
CN113518226A (zh) 一种基于地面分割的g-pcc点云编码改进方法
Zhang et al. Hierarchical segmentation based point cloud attribute compression
Vázquez et al. Using normalized compression distance for image similarity measurement: an experimental study
JP2024050705A (ja) 属性情報の予測方法、エンコーダ、デコーダ及び記憶媒体
Chou et al. Dynamic polygon clouds: Representation and compression for VR/AR
Fan et al. Deep geometry post-processing for decompressed point clouds
WO2022131948A1 (en) Devices and methods for sequential coding for point cloud compression
Zhang et al. A 3D Haar wavelet transform for point cloud attribute compression based on local surface analysis
CN114095735A (zh) 一种基于块运动估计和运动补偿的点云几何帧间预测方法
Zhang et al. Point cloud attribute compression via clustering and intra prediction
Chen et al. patchVVC: A Real-time Compression Framework for Streaming Volumetric Videos
CN114549870A (zh) 一种基于质心点搜索的动态点云快速全局运动匹配方法及系统
CN117121488A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
Bhalod et al. Region-based indexing in the JPEG2000 framework
WO2021108970A1 (zh) 点云处理方法、编码器、解码器及存储介质
CN112509107A (zh) 一种点云属性重着色方法、装置及编码器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant