CN115802048A - 一种基于块间预测和图傅里叶变换的点云属性压缩方法 - Google Patents

一种基于块间预测和图傅里叶变换的点云属性压缩方法 Download PDF

Info

Publication number
CN115802048A
CN115802048A CN202210828769.7A CN202210828769A CN115802048A CN 115802048 A CN115802048 A CN 115802048A CN 202210828769 A CN202210828769 A CN 202210828769A CN 115802048 A CN115802048 A CN 115802048A
Authority
CN
China
Prior art keywords
attribute
point cloud
mean value
point
residual error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210828769.7A
Other languages
English (en)
Inventor
王瑾
刘嘉莹
裴婕
孙龙华
朱青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202210828769.7A priority Critical patent/CN115802048A/zh
Publication of CN115802048A publication Critical patent/CN115802048A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出了一种基于块间预测和图傅里叶变换的点云属性压缩方法,解决在维持“码率‑失真”平衡的前提下提升压缩性能的问题。首先,在点云上进行聚类,将点云划分为不同的点云块。本发明将基于点云块进行点云属性信息的编码。具体地,将进行区域划分后的点云块的颜色属性拆分为属性均值和属性残差两部分,根据两部分信息的不同特点,对二者分别进行处理。针对属性残差信息,本发明提出一种图傅里叶变换方法,进一步增强变换系数的稀疏性,从而获得更好的压缩性能。对于属性均值信息,根据相邻点云块的属性均值之间的相关性,采用预测的方式来消除块间冗余。然后对经过变换和预测处理的属性均值和属性残差进行编解码以及基于反变换和反预测重建。

Description

一种基于块间预测和图傅里叶变换的点云属性压缩方法
技术领域:
本发明涉及计算机图像处理领域,具体涉及一种使用块间预测和图傅里叶变换的基于聚类的点云属性压缩方法。
背景技术:
如今,点云广泛应用于3D沉浸式远程呈现、3D广播、文化和遗产重建等多个领域。随着扫描设备技术的提高,点云在3D领域发挥着越来越重要的作用。然而,我们通常得到的点云集合是包含数百万点的数字化3D模型,占用了大量的存储空间。因此,如何采用高效的压缩算法进行有效的存储和传输是亟需解决的问题。现有的点云属性压缩方法可以分为以下几类:传统的点云属性压缩方法、基于预测的点云属性压缩方法和基于变换的点云属性压缩方法。
1)传统的点云属性压缩方法:相比将点云转换为多边形网格,直接压缩点云具有更低的成本。除了压缩几何信息外,Huang等人(Y.Huang,J.Peng,C.-.J.Kuo and M.Gopi,"A Generic Scheme for Progressive Point Cloud Coding,"in IEEE Transactions onVisualization and Computer Graphics,vol.14,no.2,pp.440-453,March-April 2008,doi:10.1109/TVCG.2007.70441)发现对点云的颜色属进行压缩能更好地提高性能以及压缩效果。为了对结构化点云进行编码,在(J.Kammerl,N.Blodow,R.B.Rusu,S.Gedikli,M.Beetz and E.Steinbach,"Real-time compression of point cloud streams,"2012IEEE International Conference on Robotics andAutomation,2012,pp.778-785,doi:10.1109/ICRA.2012.6224647)的最近工作中,基于非结构化点云的八叉树表示拓展进行实时编码。然而,在属性压缩方面,它不能很好地利用点之间的相关性(R.Mekuria,K.Blomand P.Cesar,"Design,Implementation,and Evaluation of a Point Cloud Codec forTele-Immersive Video,"in IEEE Transactions on Circuits and Systems for VideoTechnology,vol.27,no.4,pp.828-842,April 2017,doi:10.1109/TCSVT.2016.2543039)。
2)基于变换的点云属性压缩方法:Zhang等人在(C.Zhang,D.Florêncio andC.Loop,"Point cloud attribute compression with graph transform,"2014 IEEEInternational Conference on Image Processing(ICIP),2014,pp.2066-2070,doi:10.1109/ICIP.2014.7025414)中提出了一种基于图傅里叶变换的高效点云压缩方法,比传统的离散余弦变换有效地降低了信号的相关性。当点云稀疏时,构建图的方式会创建许多孤立的子图。使用稀疏表示来获取、表示和压缩高维信号有助于将信号编写为来自预先指定的基础或字典中的几个原子的线性组合,十分节省空间。不仅如此,稀疏原则还在数据建模中起着重要作用。因此,利用变换域或字典中信号的稀疏性的技术来对信号进行处理是当前的研究热点,例如图傅里叶变换、离散余弦变换和小波变换到冗余字典(R.Rubinstein,A.M.Bruckstein and M.Elad,"Dictionaries for SparseRepresentation Modeling,"in Proceedings of the IEEE,vol.98,no.6,pp.1045-1057,June 2010,doi:10.1109/JPROC.2010.2040551)。在(Y.Xu et al.,"PredictiveGeneralized Graph Fourier Transform for Attribute Compression of DynamicPoint Clouds,"in IEEE Transactions on Circuits and Systems for VideoTechnology,vol.31,no.5,pp.1968-1982,May 2021,doi:10.1109/TCSVT.2020.3015901)中,广义图傅里叶变换被证明是最优的时空去相关预测变换。
3)基于预测的点云属性压缩方法:通过预测来压缩点云属性也是常见的压缩方法。R.A.Cohen等人在(R.A.Cohen,D.Tian andA.Vetro,"Attribute compression forsparse point clouds using graph transforms,"2016 IEEE InternationalConference on Image Processing(ICIP),2016,pp.1374-1378,doi:10.1109/ICIP.2016.7532583)中提出了他们的,使用基于3-D块的预测和变换编码的方法来压缩点云属性。S.Gu等人在(S.Gu,J.Hou,H.Zeng,H.Yuan and K.-K.Ma,"3D Point CloudAttribute Compression Using Geometry-Guided Sparse Representation,"in IEEETransactions on Image Processing,vol.29,pp.796-808,2020,doi:10.1109/TIP.2019.2936738)中提出了图预测。他们从先前编码的点云块中选择少量的代表点,并根据几何信息构建了底层的图结构来预测要编码的点。此外,输入的体素化3D点云被分成大小相等的块。在这两者之间,应用块间预测方案来消除冗余。C.Ma等人在(C.Ma,G.Li,Q.Zhang,Y.Shao,J.Wang and S.Liu,"Fast Recolor Prediction Scheme in PointCloud Attribute Compression,"2020 IEEE International Conference on VisualCommunications and Image Processing(VCIP),2020,pp.50-53,doi:10.1109/VCIP49819.2020.9301768)中,提出了一种充分利用了与邻域属性的相关性,用于属性无损和近无损压缩的基于快速重新着色技术的预测方案。他们的方法不仅利用了基于欧几里得距离的几何关系,而且还充分考虑了潜在的几何分布。
综上,传统的点云属性压缩方法成本低但属性压缩时不能很好的利用点与点的相关性;基于变换的点云属性压缩方法在处理稀疏点云利用其稀疏性有效节省码率却在处理稠密点云时造成较为严重的失真;基于预测的点云属性压缩方法处理稠密点云时能够有效去除冗余却在处理稀疏点云时增加码率。若能综合基于变换的点云属性压缩方法和基于预测的点云属性压缩方法在处理点云时的优势,更好地利用点云数据间相关性,便有希望在压缩点云时实现更好的“码率-失真”平衡。
发明内容
本发明提出了一种基于块间预测和图傅里叶变换的点云属性压缩方法,目的是通过利用点之间的颜色属性相关性,在降低编解码所需bpp的同时提升重建质量,在维持“码率-失真”平衡前提下具有更优的压缩性能。
本发明提出了一种基于块间预测和图傅里叶变换的点云属性压缩方法。首先,本发明在点云上进行聚类,将点云划分为不同的点云块。本发明将基于点云块进行点云属性信息的编码。具体地,将进行区域划分后的点云块的颜色属性拆分为属性均值和属性残差两部分,根据两部分信息的不同特点,对二者分别进行处理。针对属性残差信息,本发明提出一种图傅里叶变换方法,进一步增强变换系数的稀疏性,从而获得更好的压缩性能。对于属性均值信息,根据相邻点云块的属性均值之间的相关性,采用预测的方式来消除块间冗余。
上述方法的步骤如下:
步骤一:对点云进行区域划分,将点云划分为不同的点云块并将其颜色属性分解为每个点云块的属性均值与每个点的属性残差。
步骤二:对属性残差进行几何引导图傅里叶变换得到属性残差变换序列并对其进行编码。
步骤三:对属性均值通过块间预测得到基准点云属性均值和属性均值差序列并对其进行编码。
步骤四:对编码后的属性残差变换序列、基准点云属性均值和属性均值差序列进行解码重建。
每个步骤的具体操作如下:
步骤一的具体操作:根据点云内点的几何信息使用K-means算法进行聚类,将点云划分为K个点云块。
具体的,从点云中选取K个点作为聚类中心,计算点云中所有点至这K个聚类中心的距离。对于每个点,比较其与K个聚类中心的距离并将其划分至距离最近的聚类中心所在的聚类中,从而确定K个聚类的组成。
利用点与聚类中心对应的两个法向量间的余弦相似度来判断点与聚类中心的距离。对于点云中任一点的法向量
Figure BDA0003744183970000041
所选取的聚类中心的法向量
Figure BDA0003744183970000042
以及两个法向量间的夹角θ,计算两个法向量的余弦值cosθ。余弦值cosθ越接近1,则说明两个法向量间的余弦相似度越大,即两个法向量所属的点与聚类中心间的距离越近。
选择与某一聚类中心距离最接近的所有点与该聚类中心共同组成同一个聚类,将聚类定义为点云块,即该点云块由所有符合距离条件的点与对应聚类中心构成。
由生成K个聚类可知:点云被划分为K个点云块。
对于每个点云块,计算其Y、U、V三个颜色通道的均值,组成属性均值;对于每个点,使用其自身的颜色属性与其所属点云块的属性均值做差得到每个点的属性残差。
步骤二的具体操作:对于步骤一分解出的每个点的属性残差,本发明提出了一种用于属性残差的几何引导图傅里叶变换。
为了利用点之间的相关性,本发明使用点对应的法向量描述两点之间几何相似度。为了计算两点之间的几何相似度,我们引入图的概念。针对每个点云块,将其定义为一个加权无向图G(V,E,W)。将点云中的点定义为图中的节点,V是加权无向图G中所有节点的集合;连接点云中任意两个点i和j,将这条连线定义为这两个点对应节点Vi和Vj在图中的边,E是加权无向图G中所有边的集合;定义连接节点Vi和Vj的边权值为Wi,j的用来计算点i和j间的几何相似度,W是边权值的集合也是一个对称的邻接矩阵,其中Wi,j=Wj,i
定义点i和点j对应的两个法向量之间的夹角为θi,j,其余弦值为cosθi,j,e是自然对数函数的底数,σ是一个权重参数。定义Wi,j的计算公式为:
Figure BDA0003744183970000051
进一步定义度矩阵D来记录加权无向图G中每一个节点的度,因此度矩阵D作为一个对角矩阵,其中第p个对角元素D(p,p)是邻接矩阵W中第p行所有元素的和:
Figure BDA0003744183970000052
然后利用度矩阵D和邻接矩阵W来计算图拉普拉斯矩阵L:
L=D-W (3)
对图拉普拉斯矩阵L进行特征分解,获得特征向量矩阵Φ和特征值矩阵A:
L=ΦAΦT (4)
将特征向量矩阵Φ作为图傅里叶变换基,将每个点Y、U、V三个颜色通道的属性残差投影到图傅里叶变换域中,以点在Y颜色通道的属性残差YY为例进行图傅里叶变换,计算变换系数
Figure BDA0003744183970000053
有:
Figure BDA0003744183970000054
对于每个点在U和V颜色通道的属性残差和Y颜色通道的属性残差进行相同的投影变换得到变换系数,三个通道的变换系数组成属性残差变换序列。
使用算术编码器对属性残差变换序列进行编码。
步骤三的具体操作:对于步骤一分解的K个点云块的属性均值进行预测。
将K个点云块的属性均值排列成一个RK×1列向量,其中列向量的第t个元素即为第t个点云块的属性均值。
选取第1个点云块的属性均值作为基准点云属性均值,即选取列向量的第1个元素作为基准元素。从第一个点云块开始,计算列向量中所有相邻元素之间的差值作为相邻两个点云块之间颜色属性的均值差,所有差值构成组成属性均值差序列。
以某内含100个点云块的点云为例,属性均值排列成一个R100×1列向量。选取第1个点云块的属性均值作为基准点云属性均值,即选取列向量的第1个元素作为基准元素。从第一个点云块开始,计算列向量中所有相邻元素之间的差值作为相邻两个点云块之间颜色属性的均值差,即使用属性均值列向量中的第一个元素减去第二个元素,第二个元素减去第三个元素......以此类推直到第九十九个元素减去第一百个元素,共获得九十九个差值,即九十九个相邻点云块之间颜色属性的均值差,所有差值构成一个含有九十九个元素的属性均值差序列。
使用算术编码器对基准点云属性均值和属性均值差序列进行编码。
步骤四的具体操作:在解码器处,分别对步骤二得到的编码后属性残差变换序列和步骤三得到的编码后基准点云属性均值和属性均值差序列进行解码。
对于解码后属性残差变换序列,再次将特征向量矩阵Φ作为图傅里叶变换基进行逆图傅里叶变换,将属性残差变换序列重构得到每个点的属性残差,以点在Y颜色通道解码后的变换系数
Figure BDA0003744183970000061
为例,计算属性残差Y'Y
Figure BDA0003744183970000062
对于解码后基准点云属性均值和属性均值差序列,将基准点云属性均值与属性均值差序列中的对应元素相加,预测出K个点云块的属性均值。
由于每个点均有其所属点云块,故将某点所属点云块的属性均值作为该点的属性均值,将每个点的属性残差与属性均值得到每个点的颜色属性。
与现有的技术相比,本发明提出双分支模型,将点云的颜色属性分为属性残差与属性均值两部分。通过设计的加权图傅里叶变换(Weighted Graph Fourier Transform,NWGFT)利用点云的稀疏性对属性残差进行变换,并利用点的颜色属性相关性对点云块间的属性均值关系进行块间预测,在减小颜色属性失真的前提下,降低编解码所需码率,进行具有更优的性能的点云压缩。
附图说明:
图1基于块间预测和图傅里叶变换的点云属性压缩框架图;
图2(a)本发明所提出方法、NWGFT、RAHT在Andrew数据集上的RD曲线;
图2(b)本发明所提出方法、NWGFT、RAHT在Ricardo数据集上的RD曲线
图3(a)原始点云的主观渲染结果图;
图3(b)相似bpp下使用NWGFT方法重建点云的主观渲染结果对比图;
图3(c)相似bpp下使用RAHT方法重建点云的主观渲染结果对比图;
图3(d)相似bpp下使用本发明方法重建点云的主观渲染结果对比图。
具体实施方式:
为了能够更清楚地描述本发明的技术内容,下面结合具体实例来进一步的描述:
本发明的框架图如图1,具体实施过程分为两个阶段,编码阶段和解码阶段。
一、编码阶段
编码阶段分为三个步骤:将点云划分为多个的点云块并将其颜色属性分解为每个点云块的属性均值与每个点的属性残差,对属性残差进行几何引导图傅里叶变换得到属性残差变换序列并对其进行编码、对属性均值通过块间预测得到基准点云属性均值和属性均值差序列并对其进行编码。
1、将点云划分为多个的点云块并将其颜色属性分解为每个点云块的属性均值与每个点的属性残差
根据点云内点的几何信息使用K-means算法进行聚类,将点云划分为K个点云块。
具体的,从点云中选取K个点作为聚类中心,计算点云中所有点至这K个聚类中心的距离。对于每个点,比较其与K个聚类中心的距离并将其划分至距离最近的聚类中心所在的聚类中,从而确定K个聚类的组成。
利用点与聚类中心对应的两个法向量间的余弦相似度来判断点与聚类中心的距离。对于点云中任一点的法向量
Figure BDA0003744183970000071
所选取的聚类中心的法向量
Figure BDA0003744183970000072
以及两个法向量间的夹角θ,计算两个法向量的余弦值cosθ。余弦值cosθ越接近1,则说明两个法向量间的余弦相似度越大,即两个法向量所属的点与聚类中心间的距离越近。
选择与某一聚类中心距离最接近的所有点与该聚类中心共同组成同一个聚类,将聚类定义为点云块,即该点云块由所有符合距离条件的点与对应聚类中心构成。
由生成K个聚类可知:点云被划分为K个点云块。
对于每个点云块,计算其Y、U、V三个颜色通道的均值,组成属性均值;对于每个点,使用其自身的颜色属性与其所属点云块的属性均值做差得到每个点的属性残差。
2、对属性残差进行几何引导图傅里叶变换得到属性残差变换序列并对其进行编码
对于步骤一分解出的每个点的属性残差,本发明提出了一种用于属性残差的几何引导图傅里叶变换。
为了利用点之间的相关性,本发明使用点对应的法向量描述两点之间几何相似度。为了计算两点之间的几何相似度,我们引入图的概念。针对每个点云块,将其定义为一个加权无向图G(V,E,W)。将点云中的点定义为图中的节点,V是加权无向图G中所有节点的集合;连接点云中任意两个点i和j,将这条连线定义为这两个点对应节点Vi和Vj在图中的边,E是加权无向图G中所有边的集合;定义连接节点Vi和Vj的边权值为Wi,j的用来计算点i和j间的几何相似度,W是边权值的集合也是一个对称的邻接矩阵,其中Wi,j=Wj,i
定义点i和点j对应的两个法向量之间的夹角为θi,j,其余弦值为cosθi,j,e是自然对数函数的底数,σ是一个权重参数。定义Wi,j的计算公式为:
Figure BDA0003744183970000081
进一步定义度矩阵D来记录加权无向图G中每一个节点的度,因此度矩阵D作为一个对角矩阵,其中第p个对角元素D(p,p)是邻接矩阵W中第p行所有元素的和:
Figure BDA0003744183970000082
然后利用度矩阵D和邻接矩阵W来计算图拉普拉斯矩阵L:
L=D-W (3)
对图拉普拉斯矩阵L进行特征分解,获得特征向量矩阵Φ和特征值矩阵A:
L=ΦAΦT (4)
将特征向量矩阵Φ作为图傅里叶变换基,将每个点Y、U、V三个颜色通道的属性残差投影到图傅里叶变换域中,以点在Y颜色通道的属性残差YY为例进行图傅里叶变换,计算变换系数
Figure BDA0003744183970000083
有:
Figure BDA0003744183970000084
对于每个点在U和V颜色通道的属性残差和Y颜色通道的属性残差进行相同的投影变换得到变换系数,三个通道的变换系数组成属性残差变换序列。
使用算术编码器对属性残差变换序列进行编码。
3、对属性均值通过块间预测得到基准点云属性均值和属性均值差序列并对其进行编码
对于步骤一分解的K个点云块的属性均值进行预测。
将K个点云块的属性均值排列成一个RK×1列向量,其中列向量的第t个元素即为第t个点云块的属性均值。
随机选取第m个点云块的属性均值作为基准点云属性均值,即选取列向量的第m个元素作为基准元素,与其余(K-1)个元素作差,得到K个点云块之间颜色属性的均值差,所有均值差组成属性均值差序列。
使用算术编码器对基准点云属性均值和属性均值差序列进行编码。
二、解码阶段
在解码器处,分别对步骤二得到的编码后属性残差变换序列和步骤三得到的编码后基准点云属性均值和属性均值差序列进行解码。
对于解码后属性残差变换序列,再次将特征向量矩阵Φ作为图傅里叶变换基进行逆图傅里叶变换,将属性残差变换序列重构得到每个点的属性残差,以点在Y颜色通道解码后的变换系数
Figure BDA0003744183970000091
为例,计算属性残差Y'R
Figure BDA0003744183970000092
对于解码后基准点云属性均值和属性均值差序列,将基准点云属性均值与属性均值差序列中的对应元素相加,预测出K个点云块的属性均值。
由于每个点均有其所属点云块,故将某点所属点云块的属性均值作为该点的属性均值,将每个点的属性残差与属性均值得到每个点的颜色属性。
性能评价:
现在将本发明与两种最先进的基于变换的点云属性压缩方法进行“码率-失真”比对,两种方法即NWGFT(Y.Xu et al.,"Cluster-Based Point Cloud Coding with NormalWeighted Graph Fourier Transform,"2018 IEEE International Conference onAcoustics,Speech and Signal Processing(ICASSP),2018,pp.1753-1757,doi:10.1109/ICASSP.2018.8462684)和RAHT(G.Sandri,R.De Queiroz and P.A.Chou,"Compression ofPlenoptic Point Clouds Using the Region-Adaptive Hierarchical Transform,"201825th IEEE International Conference on Image Processing(ICIP),2018,pp.1153-1157,doi:10.1109/ICIP.2018.8451367)。Y.Xu的方法是一种使用正常NWGFT压缩属性的方法。G.Sandri的方法是一种基于小波的属性压缩方法。
如图2(a)、图2(b)显示了本发明与NWGFT和RAHT三种方法在数据集Andrew、Ricardo上的码率失真(Rate-Distortion,RD)曲线。如图2(a)所示,本发明所提出的方法相比RAHT将码率(Bits Per Pixel,bpp)降低了6.49%,与NWGFT相比降低了2.31%。这些数字是使用BD-BR(Gisle
Figure BDA0003744183970000102
“Improvement of BD-PSNR model,”VCEG-AI11,July2008.)计算的,量化了两条RD曲线之间的差异。由于RAHT是一种具有良好性能的竞争方法,在表1中进一步列出了与RAHT相比的性能提升数据。
此外,我们在图3(a)、图3(b)图3(c)图3(d)中以效果图的方式展示了原始点云以及在相似bpp下本发明与NWGFT和RAHT三种方法的重建点云的主观结果,并在每个主观结果下附上了压缩该点云所用bpp和峰值信噪比(PSNR)。PSNR是一种评价图像的客观标准,更高的数值意味着更好的图像质量。从直观的效果上进行对比可以看到,图3(c)中有较为明显的马赛克效果,而本发明所提出的算法保留了数据中的更多细节,图3(d)中具有更好的效果,因此可以得出在相似bpp下本发明可以更大程度的减少压缩带来的失真。图3(b)与图3(d)中的主观图并不具有肉眼可见的效果差异,但从主观结果下方的数据看出对于同一个数据集,本方法在使用更小bpp的同时获得了更高的PSNR,可以得出本方法具有更好的压缩性能。
实验结果证实,本发明更有效地利用了点之间的相关性,在不造成颜色属性失真的前提下,降低编解码所需bpp,具有更优的重建质量,做到了在维持“码率-失真”平衡前提下具有更优的压缩性能,与最先进的点云压缩方法相比有显著改进。
表1本发明在划分步长{100,200,500}下的性能(与RAHT相比)
Figure BDA0003744183970000101
Figure BDA0003744183970000111

Claims (5)

1.一种基于块间预测和图傅里叶变换的点云属性压缩方法,其特征在于包括以下步骤:
步骤一:对点云进行区域划分,将点云划分为不同的点云块并将其颜色属性分解为每个点云块的属性均值与每个点的属性残差;
步骤二:对属性残差进行几何引导图傅里叶变换得到属性残差变换序列并对其进行编码;
步骤三:对属性均值通过块间预测得到基准点云属性均值和属性均值差序列,并对其进行编码;
步骤四:对编码后的属性残差变换序列、基准点云属性均值和属性均值差序列进行解码重建。
2.根据权利要求1所述的一种基于块间预测和图傅里叶变换的点云属性压缩方法,其特征在于:
步骤一进一步包括:根据点云内点的几何信息使用K-means算法进行聚类,将点云划分为K个点云块;
具体的,从点云中选取K个点作为聚类中心,计算点云中所有点至这K个聚类中心的距离,对于每个点,比较其与K个聚类中心的距离并将其划分至距离最近的聚类中心所在的聚类中,从而确定K个聚类的组成;其中,所述的距离采用点与聚类中心对应的两个法向量间的余弦相似度,两个法向量间的余弦相似度越大,表明距离越近;每个聚类定义为一个点云块;
对于每个点云块,计算其Y、U、V三个颜色通道的均值,组成属性均值;对于每个点,使用其自身的颜色属性与其所属点云块的属性均值做差得到每个点的属性残差。
3.根据权利要求1所述的一种基于块间预测和图傅里叶变换的点云属性压缩方法,其特征在于包括以下步骤:
步骤二进一步包括,
针对每个点云块,将其定义为一个加权无向图G(V,E,W),V={Vi}是加权无向图G中所有节点的集合,点云块中的点定义为图中的节点,Vi表示图G中的第i个节点,即点云块中的第i个点;E={ei,j}是加权无向图G中所有边的集合,ei,j指图G中的节点Vi和Vj之间的边,即连接点云中点i和点j的连线;W={Wi,j}是边权值的集合,是一个对称的邻接矩阵,其中,Wi,j表示连接节点Vi和Vj的边权值,用来计算点云中点i和j间的几何相似度,具体计算公式如下
Figure FDA0003744183960000021
其中,θi,j为点云中点i和点j对应的两个法向量之间的夹角,e是自然对数函数的底数,σ是一个权重参数;
进一步,计算度矩阵D来记录加权无向图G中每一个节点的度,度矩阵D作为一个对角矩阵,其中第p个对角元素D(p,p)是邻接矩阵W中第p行所有元素的和:
Figure FDA0003744183960000022
然后,利用度矩阵D和邻接矩阵W来计算图拉普拉斯矩阵L:
L=D-W (3)
对图拉普拉斯矩阵L进行特征分解,获得特征向量矩阵Φ和特征值矩阵A:
L=ΦAΦT (4)
将特征向量矩阵Φ作为图傅里叶变换基,将每个点Y、U、V三个颜色通道的属性残差投影到图傅里叶变换域中计算变换系数,计算公式统一表示如下:
Figure FDA0003744183960000023
其中,T表示颜色通道,T∈{Y、U、V},YT表示颜色通道对应的属性残差,三个通道的变换系数组成属性残差变换序列,
使用算术编码器对属性残差变换序列进行编码。
4.根据权利要求1所述的一种基于块间预测和图傅里叶变换的点云属性压缩方法,其特征在于:
步骤三进一步包括:
对于步骤一分解的K个点云块的属性均值进行预测;
将K个点云块的属性均值排列成一个列向量RK×1,其中列向量的第t个元素即为第t个点云块的属性均值;
选取第1个点云块的属性均值作为基准点云属性均值,即选取列向量的第1个元素作为基准元素;
从第一个点云块开始,计算列向量中所有相邻元素之间的差值作为相邻两个点云块之间颜色属性的均值差,所有差值构成属性均值差序列;
使用算术编码器对基准点云属性均值和属性均值差序列进行编码。
5.根据权利要求1所述的一种基于块间预测和图傅里叶变换的点云属性压缩方法,其特征在于:
步骤四进一步包括:在解码器处,分别对步骤二得到的编码后属性残差变换序列和步骤三得到的编码后基准点云属性均值和属性均值差序列进行解码;
对于解码后属性残差变换序列,再次将特征向量矩阵Φ作为图傅里叶变换基进行逆图傅里叶变换,将属性残差变换序列重构得到每个点的属性残差,计算公式统一表示如下:
Figure FDA0003744183960000031
T表示颜色通道,T∈{Y、U、V},Y'T表示颜色通道对应的重构后的属性残差;
对于解码后基准点云属性均值和属性均值差序列,将基准点云属性均值与属性均值差序列中的对应元素相加,即预测出K个点云块的属性均值;
由于每个点均有其所属点云块,故将某点所属点云块的预测属性均值作为该点的属性均值,每个点的重构属性残差与预测属性均值即为压缩后的每个点的颜色属性。
CN202210828769.7A 2022-07-13 2022-07-13 一种基于块间预测和图傅里叶变换的点云属性压缩方法 Pending CN115802048A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210828769.7A CN115802048A (zh) 2022-07-13 2022-07-13 一种基于块间预测和图傅里叶变换的点云属性压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210828769.7A CN115802048A (zh) 2022-07-13 2022-07-13 一种基于块间预测和图傅里叶变换的点云属性压缩方法

Publications (1)

Publication Number Publication Date
CN115802048A true CN115802048A (zh) 2023-03-14

Family

ID=85431366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210828769.7A Pending CN115802048A (zh) 2022-07-13 2022-07-13 一种基于块间预测和图傅里叶变换的点云属性压缩方法

Country Status (1)

Country Link
CN (1) CN115802048A (zh)

Similar Documents

Publication Publication Date Title
Cheng et al. Energy compaction-based image compression using convolutional autoencoder
US10939123B2 (en) Multi-angle adaptive intra-frame prediction-based point cloud attribute compression method
KR101700310B1 (ko) 하나 이상의 구성 요소들을 포함하는 3d 메시 모델을 인코딩/디코딩하는 방법
CN106170093B (zh) 一种帧内预测性能提升编码方法
CN115606188A (zh) 一种点云编解码方法、编码器、解码器及存储介质
Gu et al. Compression of human motion capture data using motion pattern indexing
CN113301347A (zh) 一种hevc高清视频编码的优化方法
US20230237705A1 (en) Methods for level partition of point cloud, and decoder
CN113518226A (zh) 一种基于地面分割的g-pcc点云编码改进方法
CN116939226A (zh) 一种面向低码率图像压缩的生成式残差修复方法及装置
Fan et al. Deep geometry post-processing for decompressed point clouds
CN112702600B (zh) 一种图像编解码神经网络分层定点化方法
Kamble et al. A review on block matching motion estimation and automata theory based approaches for fractal coding
Wei et al. Enhanced intra prediction scheme in point cloud attribute compression
CN111612859A (zh) 一种基于数据降维的三维点云模型压缩方法及其实现系统
CN115802048A (zh) 一种基于块间预测和图傅里叶变换的点云属性压缩方法
Luo et al. Super-High-Fidelity Image Compression via Hierarchical-ROI and Adaptive Quantization
CN110349228B (zh) 一种数据驱动最小二乘预测的三角网格压缩方法
Zhang et al. Point clouds attribute compression using data-adaptive intra prediction
Hajizadeh et al. Predictive compression of animated 3D models by optimized weighted blending of key‐frames
Kuo et al. An efficient spatial prediction-based image compression scheme
Chang et al. A Reversible Data Hiding Method for SMVQ Indices Based on Improved Locally Adaptive Coding.
CN101267557A (zh) 一种用复合矢量量化进行图像压缩的方法
CN114025146B (zh) 基于场景流网络与时间熵模型的动态点云几何压缩方法
Hou et al. Learning-based Intra-Prediction For Point Cloud Attribute Transform Coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination